(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210817333.8 (22)申请日 2022.07.12 (71)申请人 阳光保险集团股份有限公司 地址 518000 广东省深圳市福田区红荔西 路7002号第一世界广场A座17层 (72)发明人 史辉　杜新凯　吕超　谷姗姗　 张晗　韩佳　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 曹延鹏 (51)Int.Cl. G06F 40/216(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01)G06N 3/08(2006.01) (54)发明名称 文本的词权重确定方法、 神经网络模 型的训 练方法和装置 (57)摘要 本发明提供了一种文本的词权重确定方法、 神经网络模 型的训练方法和装置， 将待处理文本 输入至预先训练好的神经网络模 型中， 通过其中 的多头注意力层， 输出多个注意力矩阵； 每个注 意力矩阵用于： 指示待处理文本中的每个文字与 其他文字之间的语义关联度； 对多个注意力矩阵 进行处理， 得到一维归一化矩阵； 基于预设的多 个阈值类别和一维归一化矩阵， 确定待处理文本 中， 每个词的词权重； 该方式基于多头注意力机 制确定多个注 意力矩阵， 对多个注 意力矩阵处理 后得到相应的一维归一化矩阵， 进而确定每个词 的词权重， 由于每个注意力矩阵包含每个文字与 其他文字之间的语义关联度， 从而可以根据语义 信息确定词权重， 提高了词权重的准确性， 提升 了用户体验。 权利要求书2页 说明书12页 附图3页 CN 115081427 A 2022.09.20 CN 115081427 A 1.一种文本的词权 重确定方法， 其特 征在于， 所述方法包括： 获取待处 理文本； 将所述待处理文本输入至预先训练好的神经网络模型中， 通过所述神经网络模型中的 多头注意力层， 输出与所述待处理文本对应的多个注意力矩阵； 其中， 每个所述注意力矩阵 用于： 指示所述待处 理文本中的每 个文字与其 他文字之间的语义关联度； 对所述多个注意力矩阵进行合并及归一 化处理， 得到一维归一 化矩阵； 基于预设的多个阈值类别和所述一维归一化矩阵， 确定所述待处理文本中， 每个词的 词权重； 其中， 所述每 个词中包括至少一个文字 。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取待处 理文本的步骤 包括： 获取初始文本； 对所述初始文本进行预处理， 得到所述待处理文本； 其中， 所述预处理的方式包括以下 至少一种： 去除标点符号、 去除停用词和将大写字母转 为小写字母。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述多个注意力矩阵进行合并及归 一化处理， 得到一维归一 化矩阵的步骤 包括： 对每个所述注意力矩阵的相同位置的数据分别进行加 和， 得到目标注意力矩阵； 对所述目标注意力矩阵的每行向量的相同位置的数据进行加 和， 得到一维矩阵； 对所述一维矩阵进行归一 化处理， 得到所述 一维归一 化矩阵。 4.根据权利要求1所述的方法， 其特征在于， 所述一维归一化矩阵中的每个数据表示所 述待处理文本中的每个文字 分别对应的百分数； 所述基于预设的多个阈值类别和所述一 维 归一化矩阵， 确定所述待处 理文本中， 每 个词的词权 重的步骤 包括： 获取预设的多个阈值类别； 其中， 所述多个阈值类别按顺序依次对应至少一部分百分 比范围； 根据所述一维归一化矩阵中， 每个文字分别对应的百分数所属的阈值类别， 确定所述 待处理文本中每 个文字对应的阈值类别； 对所述待处 理文本进行切词， 得到多个切词结果； 针对每个切词结果均执 行以下操作： 获取该切词结果中所包 含的每个文字对应的阈值类别； 从该切词结果中所包含的每个文字对应的阈值类别 中， 选取数值最高的阈值类别， 作 为该切词结果对应的词的词权 重。 5.一种神经网络模型的训练方法， 其特 征在于， 所述方法包括： 获取样本文本； 其中， 所述样本文本中预先标记有所述样本文本是否属于指定类别的 标识信息； 将所述样本文本输入至初始神经网络模型中， 通过所述初始神经网络模型输出初始结 果； 基于预设的损 失函数， 计算所述初始结果与所述标识信息之间的损 失值， 继续执行获 取样本文本的步骤， 直至所述损失值收敛， 得到所述神经网络模型。 6.根据权利要求5所述的方法， 其特征在于， 所述初始神经网络模型包括依次连接的预 训练语言模型、 多头注意力层、 剪枝处 理层和分类 器层； 所述将所述样本文本输入至初始神经网络模型中， 通过所述初始神经网络模型输出初权　利　要　求　书 1/2 页 2 CN 115081427 A 2始结果的步骤 包括： 将所述样本文本 输入至所述预训练语言模型， 输出隐藏状态序列矩阵； 将所述隐藏状态序列矩阵输入至所述多头注意力层， 输出所述样本文本对应的多个注 意力矩阵和内容表征； 将所述内容表征输入至所述剪枝处 理层， 得到所述内容表征对应的句子表征； 将所述句子表征输入至所述分类层， 以使所述分类层基于预设的激活函数和所述句子 表征， 输出 所述样本文本的初始分类结果； 将所述初始分类结果确定为所述初始结果。 7.一种文本的词权 重确定装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取待处 理文本； 第一输出模块， 用于将所述待处理文本输入至预先训练好的神经网络模型中， 通过所 述神经网络模型中的多头注意力 层， 输出与所述待处理文本对应的多个注意力矩阵； 其中， 每个所述注意力矩阵用于： 指示所述待处理文本中的每个文字与其他文字之间的语义关联 度； 处理模块， 用于对所述多个注意力矩阵进行合并及归一 化处理， 得到一维归一 化矩阵； 确定模块， 用于基于预设的多个阈值类别和所述一维归一化矩阵， 确定所述待处理文 本中， 每个词的词权 重； 其中， 所述每 个词中包括至少一个文字 。 8.一种神经网络模型的训练装置， 其特 征在于， 所述装置包括： 第二获取模块， 用于获取样本文本； 其中， 所述样本文本 中预先标记有所述样本文本是 否属于指定类别的标识信息； 第二输出模块， 用于将所述样本文本输入至初始神经网络模型中， 通过所述初始神经 网络模型输出初始结果； 计算模块， 用于基于预设的损 失函数， 计算所述初始结果与所述标识信息之间的损 失 值， 继续执 行获取样本文本的步骤， 直至所述损失值收敛， 得到所述神经网络模型。 9.一种电子设备， 其特征在于， 包括处理器和存储器， 所述存储器存储有能够被所述处 理器执行 的机器可执行指令， 所述处理器执行所述机器可执行指令以实现权利要求1 ‑4任 一项所述的文本的词权重确定方法， 或权利要求5 ‑6任一项所述的神经网络模型的训练方 法。 10.一种机器可读存储介质， 其特征在于， 所述机器可读存储介质存储有机器可执行指 令， 所述机器可执行指令在被处理器调用和执行时， 所述机器可执行指令促使所述处理器 实现权利要求 1‑4任一项所述的文本的词权重确定方法， 或权利要求5 ‑6任一项所述的神经 网络模型的训练方法。权　利　要　求　书 2/2 页 3 CN 115081427 A 3