(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111649280.5 (22)申请日 2021.12.2 9 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 (72)发明人 杨占栋　卢凌云　张美伟　李昱　 王全礼　张晨　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 代理人 霍莉莉　臧建明 (51)Int.Cl. G06F 40/279(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/22(2006.01)G10L 25/63(2013.01) G06F 40/242(2020.01) G06F 40/289(2020.01) G06F 40/35(2020.01) (54)发明名称 情绪识别方法、 装置、 设备、 存储介质、 程序 产品 (57)摘要 本公开提供的一种情绪识别方法、 装置、 设 备、 存储介质、 程序产品， 涉及情绪识别技术， 包 括： 获取语音通话数据， 并将语音通话数据转换 为文本通话数据； 提取语音通话数据的音频特 征， 确定第一情绪信息； 在文本通话数据中提取 关键词， 根据预设的情绪词典、 关键词， 确定第二 情绪信息； 对文本通话数据进行编码， 利用预设 的情绪分析模型确定第三情绪信息； 根据第一、 第二和第三情绪信息确定总情绪信息； 将总情绪 信息中与最大的概率值对应的情绪类别确定情 绪类别。 本方案， 可通过分析语音通话数据的音 频特征、 文本通话数据的关键词、 文本编码得到 三种情绪信息， 综合三种情绪信识别情绪。 在用 户咨询问题的过程中， 可以提高情绪识别的准确 性。 权利要求书2页 说明书11页 附图3页 CN 114298019 A 2022.04.08 CN 114298019 A 1.一种情绪识别方法， 其特 征在于， 包括： 获取语音通 话数据， 并将所述语音通 话数据转换为文本通 话数据； 提取所述语音通 话数据的音频 特征， 根据所述音频 特征确定第一情绪信息； 在所述文本通话数据中提取关键词， 并根据 预设的情绪词典、 所述关键词， 确定第二情 绪信息； 对所述文本通话数据进行编码， 得到文本编码， 并利用预设的情绪分析模型确定所述 文本编码的第三情绪信息； 根据所述第一情绪信息、 所述第二情绪信息和所述第三情绪信息确定总情绪信息； 其 中， 所述总情绪信息中包括与每 个情绪类别对应的概 率值； 将所述总情绪信息中与最大的概率值对应的情绪类别确定为所述语音通话数据的情 绪类别。 2.根据权利要求1所述的方法， 其特征在于， 所述音频特征包括能量特征、 发音帧数特 征、 基音频率特 征、 共振峰特征、 谐波噪声比特 征以及梅尔倒谱系数 特征； 所述提取所述语音通 话数据的音频 特征， 根据所述音频 特征确定第一情绪信息， 包括： 融合所述能量特征、 所述发音帧数特征、 所述基音频率特征、 所述共振峰特征、 所述谐 波噪声比特 征以及所述 梅尔倒谱系数 特征， 得到融合后的音频 特征； 利用预设的网络对所述融合后的音频 特征进行处 理， 确定所述第一情绪信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述利用预设的网络对所述融合后的音频 特征进行处 理， 确定所述第一情绪信息， 包括： 根据所述网络 中的第一预设参数、 第 二预设参数、 第 一隐藏状态值、 所述融合后的音频 特征确定第二隐藏状态值； 根据上一刻的第一隐藏状态值、 当前时刻的第二隐藏状态值确定总隐藏状态值； 根据所述网络中的第三预设参数对所述语音通话数据的最后一个时刻的总隐藏状态 值进行处 理， 得到情绪评价 值； 对所述情绪评价 值进行回归计算， 得到所述第一情绪信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述根据预设的情绪词典、 所述关键词， 确 定第二情绪信息， 包括： 对所述关键词进行词嵌入向量计算， 得到所述关键词的关键词向量； 根据预设的与各情绪类别对应的各情绪词典、 各所述关键词向量， 确定所述第二情绪 信息。 5.根据权利要求4所述的方法， 其特征在于， 所述根据预设的与 各情绪类别对应的各情 绪词典、 各 所述关键词向量， 确定所述第二情绪信息， 包括： 根据预设的与各情绪类别对应的各情绪词典、 各所述关键词向量， 确定所述关键词向 量与预设的与各 所述情绪类别对应的各 所述情绪词典的余弦相似度； 对各个所述余弦相似度进行矩阵的无穷范数计算， 并根据计算结果确定第二情绪信 息。 6.根据权利要求5所述的方法， 其特征在于， 所述根据计算结果确定第二情绪信息， 包 括： 将各个所述 余弦相似度进行矩阵的无穷范 数计算得到的计算结果相加， 得到总和；权　利　要　求　书 1/2 页 2 CN 114298019 A 2将各个所述余弦相似度进行矩阵的无穷范数计算得到的计算结果， 与所述总和的比 值， 确定为第二情绪信息 。 7.根据权利要求1所述的方法， 其特征在于， 所述利用预设的情绪分析模型确定所述文 本编码的第三情绪信息， 包括： 将所述文本编码输入至预设的情绪分析模型， 得到所述文本通话数据属于各个情绪类 别的各概 率值； 根据所述各个情绪类别的概 率值确定所述第三情绪信息 。 8.根据权利要求1所述的方法， 其特征在于， 所述根据所述第一情绪信息、 所述第二情 绪信息和所述第三情绪信息确定总情绪信息， 包括： 对所述第 一情绪信 息、 所述第 二情绪信 息、 所述第 三情绪信 息进行加权计算， 得到所述 总情绪信息 。 9.一种情绪识别装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取语音通 话数据， 并将所述语音通 话数据转换为文本通 话数据； 第一情绪信息确定单元， 用于提取所述语音通话数据的音频特征， 根据所述音频特征 确定第一情绪信息； 第二情绪信息确定单元， 用于在所述文本通话数据中提取关键词， 并根据预设的情绪 词典、 所述关键词， 确定第二情绪信息； 第三情绪信 息确定单元， 用于对所述文本通话数据进行编码， 得到文本编码， 并利用预 设的情绪分析模型确定所述文本编码的第三情绪信息； 总情绪信息确定单元， 用于根据所述第一情绪信息、 所述第二情绪信息和所述第三情 绪信息确定总情绪信息； 其中， 所述总情绪信息中包括与每 个情绪类别对应的概 率值； 情绪类别识别单元， 用于将所述总情绪信 息中与最大的概率值对应的情绪类别确定为 所述语音通 话数据的情绪类别。 10.一种电子设备， 其特 征在于， 包括存 储器和处 理器； 其中， 所述存储器， 用于存 储计算机程序； 所述处理器， 用于读取所述存储器存储的计算机程序， 并根据所述存储器中的计算机 程序执行上述权利要求1 ‑8任一项所述的方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 当处理器执行所述计算机执行指令时， 实现上述权利要求1 ‑8任一项所述的方 法。 12.一种计算机程序产品， 包括计算机程序， 其特征在于， 该计算机程序被处理器执行 时， 实现上述权利要求1 ‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114298019 A 3