(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210465023.4 (22)申请日 2022.04.29 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 李健　张立兵　汤瑞　王贺华　 杨东东　李志尚　李景春　李桢旻　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 余罡 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06V 10/26(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) A61B 5/11(2006.01) A61B 5/08(2006.01) A61B 5/0533(2021.01) A61B 5/024(2006.01) (54)发明名称 针对路桥工程场景的情绪识别方法及装置 (57)摘要 本发明提供一种针对路桥工程场景的情绪 识别方法及装置， 涉及情绪识别技术领域。 本发 明将获取的用户的面部视频和生理信息经过预 处理之后进行特征提取得到用户的面部运动单 元和生理特征； 然后选择用户的面部运动单元和 生理特征的最优 特征子集并进行融合， 最后基于 动态贝叶斯网络的多通道特征逆向推理与可解 释性情绪识别模型获取融合后的最优特征子集 与情绪分量之间的映射关系， 以此 获取用户的情 绪状态识别结果。 相比于现有技术， 本发明的情 绪识别体系更加可靠、 鲁棒性好， 可实现路桥工 程复杂环境下用户的多层次、 全方位、 稳定的情 绪识别。 权利要求书2页 说明书10页 附图3页 CN 115240241 A 2022.10.25 CN 115240241 A 1.一种针对路桥工程场景的情绪识别方法， 其特 征在于， 所述方法包括: 获取用户的面部视频和生理信 息并进行预处理， 并基于预处理后的面部视频利用基于 U‑NET的深度面部分割网络提取用户的面部运动单元， 基于预处理后的生理信息提取用户 的生理特 征； 获取所述面部运动单元和所述生理特征的最优特征子集， 并基于深度神经网络和迁移 学习的特 征校验与融合机制融合所述 最优特征子集； 基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的 最优特征子集与情绪分量之 间的映射关系， 并基于所述映射关系获取用户的情绪状态识别 结果。 2.如权利要求1所述的方法， 其特征在于， 所述获取用户的面部视频和生理信 息并进行 预处理包括： S11、 利用摄像头捕捉用户的面部视频， 利用手环记录用户的生理信号； 所述生理信号 包括： 心率变异性信号、 呼吸变异性信号和皮肤电信号； S12、 利用面部特征点定位和人脸检测算法从视频序列中检测人脸， 再利用Dlib面部特 征点定位模型和基于高斯差 分滤波器的面部边缘监测机制对视频中的人脸进 行裁剪， 得到 高清人脸图像集； S13、 对所述心率变异性信号进行去趋势项操作和快速傅里叶变换， 得到与情绪识别有 关的所述心 率变异性信号的时域和频域指标； 利用巴特沃斯低通滤波器分别去除所述呼吸 变异性信号和所述皮肤电信号的干扰信号， 以获取与情绪识别有关的与情绪识别相关的呼 吸变异性指标和皮肤电指标。 3.如权利要求1所述的方法， 其特征在于， 所述获取所述面部运动单元和所述生理特征 的最优特征子集包括： 利用随机森林模型获取所述面部运动单元和所述生理特征的最优特 征子集。 4.如权利要求1所述的方法， 其特征在于， 所述动态贝叶斯网络的多通道特征逆向推理 与可解释性情绪识别模型为在动态贝叶斯网络中增 加了一个多通道特 征的逆向推理机制。 5.一种针对路桥工程场景的情绪识别装置， 其特 征在于， 所述装置包括： 信号获取和特征提取模块， 用于获取用户的面部视频和生理信息并进行预处理， 并基 于预处理后的面部视频利用基于U ‑NET的深度面部分割网络提取用户的面部运动单元， 基 于预处理后的生理信息提取用户的生理特 征； 最优特征子集获取和融合模块， 用于获取所述面部运动单元和所述生理特征的最优特 征子集， 并基于深度神经网络和迁移学习的特 征校验与融合机制融合所述 最优特征子集； 情绪状态识别模块， 用于基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪 识别模型获取融合后的最优特征子集与情绪分量之 间的映射关系， 并基于所述映射关系获 取用户的情绪状态 识别结果。 6.如权利要求5所述的装置， 其特征在于， 所述信号获取和特征提取模块获取用户的面 部视频和生理信息并进行 预处理包括： S11、 利用摄像头捕捉用户的面部视频， 利用手环记录用户的生理信号； 所述生理信号 包括： 心率变异性信号、 呼吸变异性信号和皮肤电信号； S12、 利用面部特征点定位和人脸检测算法从视频序列中检测人脸， 再利用Dlib面部特权　利　要　求　书 1/2 页 2 CN 115240241 A 2征点定位模型和基于高斯差 分滤波器的面部边缘监测机制对视频中的人脸进 行裁剪， 得到 高清人脸图像集； S13、 对所述心率变异性信号进行去趋势项操作和快速傅里叶变换， 得到与情绪识别有 关的所述心 率变异性信号的时域和频域指标； 利用巴特沃斯低通滤波器分别去除所述呼吸 变异性信号和所述皮肤电信号的干扰信号， 以获取与情绪识别有关的与情绪识别相关的呼 吸变异性指标和皮肤电指标。 7.如权利要求5所述的装置， 其特征在于， 所述最优特征子集获取和融合模块获取所述 面部运动单元和所述生理特征的最优特征子集包括： 利用随机森林模型获取所述面部运动 单元和所述 生理特征的最优特 征子集。 8.如权利要求5所述的装置， 其特征在于， 所述情绪状态识别模块中动态贝叶斯网络的 多通道特征逆向推理与可解释性情绪识别模型为在动态贝叶斯网络中增加了一个多通道 特征的逆向推理机制。 9.一种计算机可读存储介质， 其特征在于， 其存储用于针对路桥工程场景的情绪识别 的计算机程序， 其中， 所述计算机程序使 得计算机执行如权利要求 1‑4任一项所述的针对路 桥工程场景的情绪识别方法。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 以及 一个或多个程序， 其中所述一个或多个程序被存储在所述存储器中， 并且被配置成由 所述一个或多个处理器执行， 所述程序包括用于执行如权利要求1 ‑4任一项所述的针对路 桥工程场景的情绪识别方法。权　利　要　求　书 2/2 页 3 CN 115240241 A 3