(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210738535.3 (22)申请日 2022.06.24 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 甘玲　李梦珠　刘菊　胡柳慧　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 方钟苑 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/289(2020.01) G06F 40/211(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键词的多粒度中文短文本匹配 方法 (57)摘要 本发明涉及一种基于关键词的多粒度中文 短文本匹配方法， 属于自然语言处理领域， 包括 以下步骤： S1： 将句子分为字和词两个粒度， 将两 个粒度的句子统一填充到长度N， 在对应数据集 上训练Word2Vec， 获得字和词两个粒度的嵌入表 示； S2： 用两个BiGRU对句子向量进行编码， 获得 句子两个方向的上下文信息； S3： 用交叉注意力 获得字粒度特征和词粒度特征之间的关联， 再对 其及逆行平均池化并连接获得句子最终的表示 向量； S4： 连接两句子的词粒度嵌入向量， 用11层 Transformer编码器和一层关注关键词的 Transformer进行编码； S5： 连接关键词特征和两 句子的表示向量作为 最终的预测向量。 权利要求书2页 说明书5页 附图1页 CN 115114932 A 2022.09.27 CN 115114932 A 1.一种基于关键词的多粒度中文短文本匹配方法， 其特 征在于： 包括以下步骤： S1： 多粒度词嵌入： 将句子分为字和词两个粒度， 将两个粒度的句子统一填充到长度N， 在对应数据集上训练W ord2Vec， 获得字和词两个粒度的嵌入表示 S2： 上下文编码： 用两个BiGRU对句子向量进行编码， 获得句子 两个方向的上 下文信息； S3： 句子特征融合： 用交叉注意力获得字粒度特征和词粒度 特征之间的关联， 再对其及 逆行平均池化并连接获得句子最终的表示向量； S4： 关键词特征提取： 连接两句子的词粒度嵌入向量， 用11层Transformer编码器和一 层关注关键词的Transformer进行编码； 所述关注关键词的Transformer是指在 Transformer的自注 意力层中， 句子一对句子二做注 意力操作时只关注句子二的关键词， 反 之亦然； S5： 特征融合： 连接关键词特 征和两句子的表示向量作为 最终的预测向量。 2.根据权利要求1所述的基于关键词的多粒度中文短文本匹配方法， 其特征在于： 步骤 S1中， 通过词粒度信息提取模块和字粒度信息提取模块进行； 词粒度信 息提取模块先将中文句子切分为基于词语的句子表示， 再将句子填充到相同 的长度N； 通过在目标 数据集上训练W ord2Vec获得词语级别的嵌入向量； 字粒度信 息提取模块先将中文句子切分为基于字的句子表示， 再将句子填充到相同的 长度N； 通过在目标 数据集上训练W ord2Vec获得字粒度的嵌入向量。 3.根据权利要求1所述的基于关键词的多粒度中文短文本匹配方法， 其特征在于： 步骤 S2中， 获得句子 两个方向的上 下文信息， 具体通过以下 方式计算： 其中， 表示句子一字粒度的上 下文表示向量， 表示句子一字粒度的嵌入向量； 句子一词粒度的上下文表示向量 句子二字粒度的上下文表示向量 句子二词粒 度的上下文表示向量 也用同样的方式计算。 4.根据权利要求1所述的基于关键词的多粒度中文短文本匹配方法， 其特征在于： 步骤 S3具体通过以下 方式计算： 其中， S1表示句子一的最终表示向量； 句子二的最终表示向量S2也用同样的方式计算。 5.根据权利要求1所述的基于关键词的多粒度中文短文本匹配方法， 其特征在于： 步骤 S4中， 通过关键词特征提取模块进行关键词特征提取， 选择名词作为关键词， 通过jieba标 注关键词。 6.根据权利要求1所述的基于关键词的多粒度中文短文本匹配方法， 其特征在于： 步骤 S5中， 利用特征提取模块， 通过交叉注意力对同一个句子的字粒度信息和词粒度信息进行 融合， 对于两个句 子的特征向量和关键词 特征向量， 先拼接两句 子特征向量及它们的差值 绝对值， 然后拼接关键词特 征向量：权　利　要　求　书 1/2 页 2 CN 115114932 A 2F＝Concat(S1,S2,|S1‑S2|,Pkey) 最后将F传入MLP进行 预测。权　利　要　求　书 2/2 页 3 CN 115114932 A 3