(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210589282.8 (22)申请日 2022.05.26 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 苑浩　张银辉　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/242(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 用于处理文本的神经网络的训练方法和处 理文本的方法 (57)摘要 本公开提供了一种用于处理文本的神经网 络的训练方法和处理文本的方法， 涉及人工智能 领域， 具体涉及机器学习技术、 自然语言处理技 术和深度学习技术。 训练方法包括： 确定样本文 本中的第一情感词及其真实从属关系和与第一 情感词的情感类别不同的至少一个第二情感词 及其各自的真实从属关系； 基于第一情感词和样 本文本确定对应的综合特征向量； 基于每个第二 情感词和样 本文本确定对应的综合特征向量； 基 于与第一情感词对应的综合特征向量和至少一 个第二情感词各自对应的综合特征向量得到第 一情感词的预测从属关系和至少一个第二情感 词各自的预测从属关系； 基于第一情感词和至少 一个第二情感词各自的预测从属关系和真实从 属关系训练神经网络 。 权利要求书5页 说明书14页 附图7页 CN 114861660 A 2022.08.05 CN 114861660 A 1.一种用于处 理文本的神经网络的训练方法， 包括： 确定样本文本 中的第一情感词和所述第 一情感词的真实从属关系， 所述第 一情感词的 真实从属关系指示所述第一情感词属于所述样本文本； 确定至少一个第二情感词和所述至少一个第二情感词各自的真实从属关系， 其中， 所 述至少一个第二情感词中的每一个第二情感词的情感类别均与所述第一情感词的情感类 别不同， 并且所述至少一个第二情感词各自的真实从属关系指示对应的第二情感词不属于 所述样本文本； 利用所述神经网络基于所述第 一情感词和所述样本文本， 确定与所述第 一情感词对应 的综合特 征向量； 针对所述至少一个第 二情感词中的每一个第 二情感词， 利用所述神经网络基于该第 二 情感词和所述样本文本， 确定与该第二情感词对应的综合特 征向量； 基于与所述第一情感词对应的综合特征向量和所述至少一个第二情感词各自对应的 综合特征向量， 得到所述第一情感词的预测从属关系和所述至少一个第二情感词各自的预 测从属关系， 所述预测从属关系指示对应的情感词是否属于所述样本文本的预测结果； 以 及 基于所述第 一情感词的预测从属关系和真实从属关系、 所述至少一个第 二情感词各自 的预测从属关系和真实从属关系调整所述神经网络的参数， 以得到训练后的神经网络 。 2.根据权利要求1所述的方法， 其中， 利用所述神经网络基于所述第 一情感词和所述样 本文本， 确定与所述第一情感词对应的综合特 征向量包括： 基于所述第 一情感词的情 感词特征向量和所述样本文本的文本特征向量， 确定与 所述 第一情感词对应的综合特 征向量， 并且其中， 针对所述至少一个第二情感词中的每一个第二情感词， 利用所述神经网络 基于该第二情感词和所述样本文本， 确定与该第二样本文本对应的综合特 征向量包括： 针对所述至少一个第 二情感词中的每一个第 二情感词， 基于该第 二情感词的情感词特 征向量和所述样本文本的文本特 征向量， 确定与该第二样本文本对应的综合特 征向量。 3.根据权利要求2所述的方法， 其中， 所述神经网络包括文本特征提取子网络， 所述方 法还包括： 将所述样本文本输入所述文本特征提取子网络， 以得到所述样本文本的文本特征向 量， 其中， 所述文本特征提取子网络被配置为基于所述样 本文本， 输出所述样本文本的文本 特征向量； 将所述第一情感词进行嵌入， 以得到所述第一情感词的情感词特 征向量； 以及 将所述至少一个第 二情感词中的每一个第 二情感词进行嵌入， 以得到所述至少一个第 二情感词各自的情感词特 征向量。 4.根据权利要求2所述的方法， 其中， 基于所述第 一情感词的情感词特征向量和所述样 本文本的文本特 征向量， 确定与所述第一情感词对应的综合特 征向量包括： 将所述第一情感词的情感词特征向量和所述样本文本的文本特征向量进行拼接， 以得 到与所述第一情感词对应的综合特 征向量， 其中， 针对所述至少一个第二情感词中的每一个第二情感词， 基于该第二情感词的情 感词特征向量和所述样本文本的文本特征向量， 确定与该第二样本文本对应的综合特征向权　利　要　求　书 1/5 页 2 CN 114861660 A 2量包括： 针对所述至少一个第 二情感词中的每一个第 二情感词， 将该第 二情感词的情感词特征 向量和所述样本文本的文本特征向量进行拼接， 以得到与该第二情感词对应的综合特征向 量。 5.根据权利要求1所述的方法， 其中， 基于所述第 一情感词的预测从属关系和真实从属 关系、 所述至少一个第二情感词各自的预测从属关系和真实从属关系， 得到训练后的神经 网络包括： 基于所述第 一情感词的预测从属关系和真实从属关系、 所述至少一个第 二情感词各自 的预测从属关系和真实从属关系， 确定第一损失值； 以及 基于所述第一损失值， 调整所述神经网络的参数， 以得到训练后的神经网络 。 6.根据权利要求1 ‑3中任一项所述的方法， 还 包括： 确定所述样本文本的真实情感类别； 以及 基于所述样本文本的样本文本特 征， 确定所述样本文本的第一预测情感类别， 其中， 基于所述第一情感词的预测从属关系和真实从属关系、 所述至少一个第二情感 词各自的预测从属关系和真实从属关系调整 所述神经网络的参数， 以得到训练后的神经网 络包括： 基于所述第 一情感词的预测从属关系和真实从属关系、 所述至少一个第 二情感词各自 的预测从属关系和真实从属关系、 以及所述样本文本的第一预测情感类别和真实情感类 别， 调整所述神经网络的参数， 以得到训练后的神经网络 。 7.根据权利要求6所述的方法， 其中， 所述真实情感类别为所述第一情感词的情感类 别。 8.根据权利要求6所述的方法， 其中， 基于所述第 一情感词的预测从属关系和真实从属 关系、 所述至少一个第二情感词各自的预测从属关系和真实从属关系、 以及所述样本文本 的第一预测情感类别和真实情感类别， 调整所述神经网络的参数， 以得到训练后的神经网 络包括： 基于所述第 一情感词的预测从属关系和真实从属关系、 所述至少一个第 二情感词各自 的预测从属关系和真实从属关系， 确定第一损失值； 基于所述样本文本的第 一预测情 感类别和真实情感类别调整所述神经网络的参数， 确 定第二损失值； 基于所述第一损失值和所述第二损失值， 确定所述综合损失值； 以及 基于所述综合损失值， 调整所述神经网络的参数， 以得到训练后的神经网络 。 9.根据权利要求1所述的方法， 还 包括： 确定所述样本文本的真实情感类别； 以及 基于与所述第一情感词对应的综合特征向量， 确定所述样本文本的第二预测情感类 别， 其中， 基于所述第一情感词的预测从属关系和真实从属关系、 所述至少一个第二情感 词各自的预测从属关系和真实从属关系调整 所述神经网络的参数， 以得到训练后的神经网 络包括： 基于所述第 一情感词的预测从属关系和真实从属关系、 所述至少一个第 二情感词各自权　利　要　求　书 2/5 页 3 CN 114861660 A 3