(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111659156.7 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114626430 A (43)申请公布日 2022.06.14 (73)专利权人 华院计算 技术 （上海） 股份有限公 司 地址 200436 上海市 静安区万 荣路1256、 1258号9楼 (72)发明人 王晓梅　 (74)专利代理 机构 上海弼兴律师事务所 31283 专利代理师 金学来　罗朗 (51)Int.Cl. G06K 9/62(2022.01) G06V 40/16(2022.01)(56)对比文件 CN 108805089 A,2018.1 1.13 CN 110892395 A,2020.0 3.17 CN 110516696 A,2019.1 1.29 审查员 康环环 (54)发明名称 情绪识别模型的训练方法、 情绪识别方法、 设备及介质 (57)摘要 本发明公开了一种情绪识别模型的训练方 法、 情绪识别方法、 设备及介质。 该方法基于F ‑ Transformer结构实现， F ‑Transformer结构包括 内容编码器、 两个特征编码结构及标签解码器， 两个特征编码结构分别与内容编码器串联。 该训 练方法包括以下步骤： 获取目标对象的训练集， 所述训练集包括若干图像样本； 对于每一图像样 本， 获取第一图像信息及第二图像信息； 将所述 第一图像信息及所述第二图像信息分别作为所 述的F‑Transformer结构的两个特征编码结构的 输入， 所述图像样本对应的预设情绪信息作为输 出进行模型训练以获取情绪识别模 型。 本发明摆 脱了对传统的卷积神经网络结构的依赖， 利用自 行构建的F ‑Transformer结构可以对采 集的图像 样本中的不同的信息进行深度融合利用， 提高了 模型训练的效果。 权利要求书2页 说明书7页 附图6页 CN 114626430 B 2022.10.18 CN 114626430 B 1.一种情绪识别模型的训练方法， 其特征在于， 所述情绪识别模型的训练方法基于F ‑ Transformer结构实现， 所述F ‑Transformer结构包括内容编码器、 两个特征编码结构及标 签解码器， 所述两个特征编码结构分别与所述内容编码器串联； 两个图像数据分别从所述 两个特征编 码结构输入， 所述两个特征编 码结构用于分别对所述两个图像数据进 行特征提 取以得到两个特征编码信息， 所述内容编 码器用于对所述两个特征编 码信息进行融合处理 以得到融合特征信息； 所述标签解码 器用于将所述融合特征信息作为输入并将对应的预设 情绪标签作为输出进行模型训练以得到情绪识别模型； 所述训练方法包括以下步骤： 获取目标对象的训练集， 所述训练集包括若干图像样本； 对于每一图像样本， 获取第一图像信息及第二图像信息； 所述第一图像信息为人物信 息； 将所述第一图像信息及 所述第二图像信息分别作为所述的F ‑Transformer结构的两个 特征编码结构的输入， 所述图像样本对应的预设情绪信息作为输出进 行模型训练以获取情 绪识别模型。 2.如权利要求1所述的情绪识别模型的训练方法， 其特征在于， 所述F ‑Transformer结 构还包括与所述内容编 码器串联的标签解码 器， 所述标签解码器用于对所述融合特征信息 及所述预设情绪信息所对应的语义信息进行解码处 理。 3.如权利要求1所述的情绪识别模型的训练方法， 其特征在于， 所述特征编码结构包括 串联的W‑MSA编码器及SW ‑MSA编码器。 4.如权利要求1所述的情绪识别模型的训练方法， 其特 征在于， 所述获取第一图像信息包括以下步骤： 将所述图像样本 输入至人物检测模型中以获取 所述人物信息； 所述第二图像信息为场景信息 。 5.如权利要求4所述的情绪识别模型的训练方法， 其特征在于， 所述情绪识别模型的训 练方法基于N个所述F ‑Transformer结构实现， n＝1， 2 …N， n表示第n个F ‑Transformer结构， 所述将所述第一图像信息及所述第二图像信息分别作为所述的F ‑Transformer结构的两个 特征编码结构的输入， 所述图像样本对应的预设情绪标签作为输出 具体包括以下步骤： 当n＝1时： 将所述第一图像信息及所述第二图像信息分别作为所述F ‑Transformer结 构的两个特 征编码结构的输入， 所述图像样本对应的预设情绪标签作为输出； 当n>1时， 将第n ‑1个F‑Transformer结构获取的两个特征编码信息分别作为第n个F ‑ Transformer结构的两个特 征编码结构输入， 所述图像样本对应的预设情绪标签作为输出。 6.如权利要求5所述的情绪识别模型的训练方法， 其特征在于， 所述进行模型训练的步 骤后还包括： 对于每一个F ‑Transformer结构， 根据对应的损失函数计算损失值； 根据所有计算出来的损失值获取最终损失值； 当所述最终损失值达 到预设条件时， 获取到情绪识别模型。 7.一种情绪识别方法， 其特 征在于， 所述情绪识别方法包括以下步骤： 获取待识别图像； 将所述待识别图像输入至情绪识别模型中以获取情绪预测结果， 所述情绪识别模型为权　利　要　求　书 1/2 页 2 CN 114626430 B 2根据如权利要求3 ‑6任意一项所述的情绪识别方法所 得到的模型。 8.如权利要求7所述的情绪识别方法， 其特征在于， 所述情绪识别模型包括N个F ‑ Transformer结构， 所述将所述待识别图像输入至情绪识别模型中以获取情绪预测结果的 步骤包括： 根据每一个F ‑Transformer的预测结果计算得到情绪预测结果； 或， 将最后一个F ‑Transformer的预测结果作为情绪预测结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的 情绪识别模型的训练方法或权利要求7 所述的情绪识别方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求 1至6任一项 所述的情绪识别模 型的训练方法或权利要求7所 述的情绪识别方法。权　利　要　求　书 2/2 页 3 CN 114626430 B 3