(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210582102.3 (22)申请日 2022.05.26 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 陈思萌　赵建强　陈诚　彭闯　 张辉极　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06F 40/126(2020.01) G06F 40/284(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 一种中文词向量压缩方法、 系统和存 储介质 (57)摘要 本发明提出一种端到端的大规模中文词 向 量压缩方法， 包括： S1， 根据原始的词向量的词性 分布， 构建词性到编码长度的映射表； S2， 对原始 的词向量特征进行压缩生 成压缩编码， 通过所述 压缩编码和编码书重构词向量， 获得重构的词向 量特征， 其中编码书为压缩编码矩阵。 上述方案 利用中文词性保留了语义信息， 属于同一词性的 压缩编码共用同一本码书， 实现相同词性间的语 义信息共享， 保持模型语义分析性能的同时进一 步缩减了 大规模词表的压缩编码， 提高模型的压 缩率， 实现了对 大规模中文词向量模 型的有效压 缩。 本发明还提出了对应的中文词向量压缩系统 和存储介质。 权利要求书2页 说明书7页 附图3页 CN 114970456 A 2022.08.30 CN 114970456 A 1.一种中文词向量压缩方法， 其特 征在于， 包括以下步骤： S1， 根据原 始的词向量的词性分布， 构建词性到编码长度的映射表； S2， 对原始的词向量特征进行压缩生成压缩编码， 通过所述压缩编码和编码书重构词 向量， 获得重构的词向量特 征， 所述编码书为压缩编码矩阵。 2.根据权利要求1所述的一种中文词向量压缩方法， 其特 征在于， S1具体包括： S11， 输入原 始词向量模型Mod和原 始词向量词表 V； S12， 获取 所述原始词向量词表中每 个词语w的词性； S13， 统计所述词性类别， 获得所述词性类别的第一集合P＝{p1， p2， ..， pn}， 其中n为词 性类别个数； S14， 计算每类词性中的词语数量和数量占比mi， 获得M＝{m1， m2， ..， mn}， 其中 S15， 根据所述数量占比将词性重新划分， 将数量占比小于pc的类别归 为同一类， 获得所 述词性类别的第二 集合 每一类 的划分方法如下： 其中i＝1， 2， ...， n， i*＝1， 2， ...， n*； S16， 将所述第二 集合C映射到编码长度 映射函数如下： 其中Imax＝64。 3.根据权利要求2所述的一种中文词向量压缩方法， 其特征在于， S12中所述词性采用 Jieba中的词性分析器获取。 4.根据权利要求2所述的一种中文词向量压缩方法， 其特征在于， S14中M按照所述词语 数量占比从高到低排序获得。 5.根据权利要求1所述的一种中文词向量压缩方法， 其特 征在于， S2具体包括： S21， 遍历原始词向量词表V中的每个词语w和特征向量vw， 通过编码器得到编码输出层 的压缩编码ow和隐藏层的输出向量hw： 其中， w1、 w2和b1、 b2分别是隐藏层和编码输出层的权 重矩阵与偏置项； S22， 获取编码长度对应的编码书 第i本编码书的大小 其 中li为编码长度， H为隐藏层大小； S23， 根据所述压缩编码和所述编码书D重构词语w的词向量特征 定义自编码器的损 失函数：权　利　要　求　书 1/2 页 2 CN 114970456 A 2通过优化损失函数， 训练得到最终的词向量压缩 模型和重构的词向量特 征 6.根据权利要求5所述的一种中文词向量压缩方法， 其特征在于， S22进一步包括， 将压 缩编码ow通过掩码矩阵 更新为o′w： 所述掩码矩阵大小为 其中l×dl的部分置1， 其 余部分置 0。 7.根据权利要求6所述的一种中文词向量压缩方法， 其特征在于， S22进一步包括， 采用 Gumbel‑Softmax Trick将更新后的压缩编码处 理为ei： Gi＝‑log(‑log(Ui)) 其中i表示第i 位编码， τ 为温度系数， Ui～U(0， 1)。 8.根据权利要求5所述的一种中文词向量压缩方法， 其特征在于， 所述 隐藏层的大小H ＝1024。 9.一种中文词向量压缩系统， 其特 征在于， 包括： 中文词性分析模块： 配置用于根据原始 的词向量的词性分布， 构建词性到编码长度的 映射表； 自编码器模块： 配置用于对原始的词向量特征vw进行压缩生成压缩编码， 通过所述压缩 编码和编码书重构词向量， 获得重构的词向量特 征 所述编码书为压缩编码矩阵。 10.一种用于中文词向量压缩的计算机可读存储介质， 其上存储有一或多个计算机程 序， 其特征在于， 该一或多个计算机程序被计算机处理器执行时实施权利要求1至8任一项 所述的方法。权　利　要　求　书 2/2 页 3 CN 114970456 A 3