(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111626210.8 (22)申请日 2021.12.28 (71)申请人 天翼数字生活科技有限公司 地址 200072 上海市 静安区万 荣路1256、 1258号1423室 (72)发明人 奚晨　杨立扬　宫敏　成国强　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 袁逸　蔡悦 (51)Int.Cl. G06K 9/62(2022.01) G06V 40/16(2022.01) G10L 25/30(2013.01) G10L 25/63(2013.01) G06V 10/764(2022.01)G06V 10/80(2022.01) (54)发明名称 一种基于表情与语音的双模态深度半监督 情感分类方法 (57)摘要 本公开提出了一种用于识别情感的方法。 该 方法包括： 获取样本， 该样本至少包括表情数据 和语音数据； 以及使用情感识别模 型基于该样本 的表情数据和语音数据来确定样本的情感类别 标记。 情感识别模型是基于双模态使用半监督学 习算法来训练的。 根据本公开的情感识别方法在 使用表情模态的基础上， 引入了语音模态， 改善 了单一模态在训练模时的错误叠加问题， 能够应 对单一模态的干扰和噪声， 同时也提高了分类准 确度。 权利要求书2页 说明书11页 附图5页 CN 114912502 A 2022.08.16 CN 114912502 A 1.一种用于训练情感识别模型的方法， 所述方法包括以下步骤： S1： 获取包括有标记样本和无标记样本的数据集， 所述数据集中的每个样本至少包括 表情数据和语音数据； S2： 构建表情模型f()以及语音模型g()； S3： 基于所述有标记样本来训练所述f()和 所述g()以得到初始表情模型f0()和初始 语音模型g0()； S4： 使用所述初始表情模型f0()来提取表情的样本特征Fe并使用所述初始语音模型g0 ()来提取语音的样本特 征Fv； S5： 基于所述表情的样本特征Fe来确定表情的伪标记矩阵Ze并基于所述语音的样本特 征Fv来确定语音的伪标记 矩阵Zv； S6： 基于所述表情的伪标记 矩阵Ze和所述语音的伪标记 矩阵Zv来确定新伪标记 矩阵Z； S7： 使用所述数据集中的所有样本基于所述新伪标记矩阵Z中的伪标记来训练所述初 始语音模型g0()直至收敛 得到最终语音模型gn()； S8： 使用所述数据集中的所有样本基于所述新伪标记矩阵Z中的伪标记来训练所述初 始表情模型f0()直至收敛 得到最终表情模型fn()； 以及 S9： 将所述最终表情模型gn()与所述最终语音模型fn()进行融合， 以获得所述情感识 别模型。 2.如权利要求1所述的方法， 其特 征在于， 步骤S2进一 步包括： 基于预训练的图片分类模型来构建所述表情模型f()， 其中所述表情模型f()的初始 参数为所述预训练的图片分类模型的预训练参数； 以及 基于LSTM模型来构建所述语音模型g()， 其中所述语音模型g()的初始参数为随机参 数。 3.如权利要求1所述的方法， 其特 征在于， 步骤S5进一 步包括： S51： 基于所述表情的样本特征Fe来获得表情的邻接矩阵We并基于所述语音的样本特征 Fv来获得语音的邻接矩阵Wv； S52： 基于所述表情的邻接矩阵We根据标记传播算法来获得所述表情的伪标记矩阵Ze并 基于所述语音的邻接矩阵Wv来获得所述语音的伪标记 矩阵Zv。 4.如权利要求1所述的方法， 其特 征在于， 步骤S6进一 步包括： 将所述表情的伪标记矩阵Ze和所述语音的伪标记矩阵Zv的熵值加权得到新伪标记矩阵 Z。 5.如权利要求1所述的方法， 其特 征在于， 进一 步包括： S7： 使用所述数据集中的所有样本基于所述新伪标记矩阵Z中的伪标记基于步骤S4 ‑S6 来迭代训练所述g0()直至收敛 得到gn()； 以及 S8： 使用所述数据集中的所有样本基于所述新伪标记矩阵Z中的伪标记基于步骤S4 ‑S6 来迭代训练所述f0()直至收敛 得到fn()。 6.如权利要求1所述的方法， 其特 征在于， 进一 步包括： S7： 使用所述数据集中的所有样本基于所述新伪标记矩阵Z中的伪标记基于步骤S4 ‑S6 来迭代训练所述f0()直至收敛 得到fn()； 以及 S8： 使用所述数据集中的所有样本基于所述新伪标记矩阵Z中的伪标记基于步骤S4 ‑S6权　利　要　求　书 1/2 页 2 CN 114912502 A 2来迭代训练所述g0()直至收敛 得到gn()。 7.如权利要求1所述的方法， 其特 征在于， 步骤S9进一 步包括： 将所述fn()与所述gn()分别预测的表情标记向量和语音标记向量的熵值加权进行融 合， 以获得最终标记向量。 8.一种用于识别情感的方法， 所述方法包括： 获取样本， 所述样本 至少包括表情数据和语音数据； 以及 使用执行如权利要求1至7中的任一项所述的方法训练得到的情感识别模型基于所述 样本的表情数据和语音数据来确定所述样本的情感类别标记。 9.一种用于训练情感分类模型的设备， 所述设备包括： 存储器； 以及 处理器， 所述处理器与所述存储器耦合并被配置成执行如权利要求1至7中的任一项所 述的方法来训练情感识别模型。 10.一种用于识别情感的设备， 所述设备包括： 存储器； 以及 处理器， 所述处 理器与所述存 储器耦合并被 配置成： 获取样本， 所述样本 至少包括表情数据和语音数据； 以及 使用执行如权利要求1至7中的任一项所述的方法训练得到的情感识别模型基于所述 样本的表情数据和语音数据来确定所述样本的情感类别标记。权　利　要　求　书 2/2 页 3 CN 114912502 A 3