(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210293506.0 (22)申请日 2022.03.24 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 孙晓　宋京泽　黄杰　张习伟　 王方兵　饶轩衡　汪萌　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 王云海 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 基于环形模型的复杂情绪检测方法和系统 (57)摘要 本发明提供一种基于环形模型的复杂情绪 检测方法、 系统、 存储介质和电子设备， 涉及情绪 检测技术领域。 本发明预先构建深度学习模型， 包括基础提取模块， 人脸特征矫正模块和特征融 合模块； 收集并预处理待测人员的人脸图片； 将 预处理后的人脸图片输入所述基础提取模块， 获 取第一特征图； 将所述第一特征图输入所述人脸 特征矫正模块， 获取关注人脸关键点区域的第二 特征图； 将所述第二特征图输入 所述特征融合模 块， 再通过全 连接层获取该人脸图片对应的唤醒 度和效价的预测值； 根据所述唤醒度和效价的预 测值， 结合预设的向量映射坐标图， 映射所述待 测人员的情绪状态。 弥补了由于数据集标签限 制， 导致一些情绪如焦虑、 抑郁等， 无法检测的技 术空白。 权利要求书2页 说明书7页 附图2页 CN 114898418 A 2022.08.12 CN 114898418 A 1.一种基于环形模型的复杂情绪检测方法， 其特征在于， 该方法预先构建深度学习模 型， 所述深度学习模型包括基础提取模块， 人脸特 征矫正模块和特 征融合模块； 所述复杂情绪检测方法包括： S1、 收集并预处 理待测人员的人脸图片； S2、 将预处 理后的人脸图片输入所述基础提取模块， 获取第一特 征图； S3、 将所述第一特征图输入所述人脸特征矫正模块， 获取关注人脸关键点区域的第二 特征图； S4、 将所述第二特征图输入所述特征融合模块， 再通过全连接层获取该人脸图片对应 的唤醒度和效价的预测值； S5、 根据所述唤醒度和效价的预测值， 结合预设的向量映射坐标图， 映射所述待测人员 的情绪状态。 2.如权利要求1所述的复杂情绪检测方法， 其特征在于， 所述S2中， 所述获取第一特征 图包括： 对预处理后的三 通道的人脸图片进行2d卷积； 采用归一 化函数和激活函数进一 步处理， 特征图尺寸保持不变； 采用最大池化操作； 最后采用多个3*3的2d卷积层对特征图进行处理， 只改变通道数而保持特征图尺寸不 变， 层与层之间使用残差连接， 获取 所述第一特 征图。 3.如权利要求1所述的复杂情绪检测方法， 其特征在于， 所述人脸特征矫正模块包括两 个级联的四阶Hourglas s网络。 4.如权利要求3所述的复杂情绪检测方法， 其特征在于， 所述S3中， 所述获取关注人脸 关键点区域的第二特 征图包括： 将所述第一特 征图输入第一个Hourglas s网络， 获取第三特 征图； 将所述第三特 征图输入第二个Hourglas s网络， 获取 人脸关键点热图； 将所述第一特征图和第 三特征图分别与 所述人脸关键点热图相乘后相加， 获取所述第 二特征图。 5.如权利要求1所述的复杂情绪检测方法， 其特征在于， 所述S4包括： 将所述第二特征 图依次进行2d卷积、 平均池化、 最大池化、 降维， 再通过全连接层输出所述唤醒度和效价的 预测值。 6.如权利要求1～5任一项所述的复杂情绪检测方法， 其特 征在于， 所述S5包括： 设当前预测值落在所述向量映射坐标图的点P(v,a)， 其中v、 a分别表示效价、 唤醒度的 预测值； 任一情绪u的方向单位向量用 表示； 在 上的投影向量 则： 点P在情绪u的强度计算方法为 方向与u相同结果为 方向相反为 范围在‑1到1之间； 以此类推可以得到每一种情绪方向的投影向量， 以及对应的归一化分值， 由此判断所 述待测者的情绪状态。权　利　要　求　书 1/2 页 2 CN 114898418 A 27.一种基于环形模型的复杂情绪检测系统， 其特征在于， 该系统预先构建深度学习模 型， 所述深度学习模型包括基础提取模块， 人脸特 征矫正模块和特 征融合模块； 所述复杂情绪检测系统包括： 预处理模块， 用于收集并预处 理待测人员的人脸图片； 提取模块， 用于将预处 理后的人脸图片输入所述基础提取模块， 获取第一特 征图； 矫正模块， 用于将所述第一特征图输入所述人脸特征矫正模块， 获取关注人脸关键点 区域的第二特 征图； 预测模块， 用于将所述第二特征图输入所述特征融合模块， 再通过全连接层获取该人 脸图片对应的唤醒度和效价的预测值； 映射模块， 用于根据 所述唤醒度和效价的预测值， 结合预设的向量映射坐标图， 映射所 述待测人员的情绪状态。 8.一种存储介质， 其特征在于， 其存储有用于基于环形模型的复杂情绪检测的计算机 程序， 其中， 所述计算机程序使得计算机执行如权利要求1～6任一项所述的复杂情绪检测 方法。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 以及 一个或多个程序， 其中所述一个或多个程序被存储在所述存储器中， 并且被配置成由 所述一个或多个处理器执行， 所述程序包括用于执行如权利要求 1～6任一项 所述的复杂情 绪检测方法。权　利　要　求　书 2/2 页 3 CN 114898418 A 3