(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615276.5 (22)申请日 2022.05.31 (71)申请人 深圳市北 科瑞声科技股份有限公司 地址 518036 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园3栋1201-6 (72)发明人 黄石磊　蒋志燕　曾航　季佳丽　 杨大明　 (74)专利代理 机构 深圳智汇远见知识产权代理 有限公司 4 4481 专利代理师 刘洁 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/25(2022.01)G06V 10/75(2022.01) G06V 10/80(2022.01) (54)发明名称 基于人脸视频的用户情绪识别方法、 装置、 设备及介质 (57)摘要 本申请涉及一种基于人脸视频的用户情绪 识别方法、 装置、 设备及存储介质。 所述方法包 括： 利用图像采集设备实时采集用户的人脸视频 信息， 提取人脸视频信息中的感兴趣区域， 基于 感兴趣区域得到人脸视频信息的BVP信号， 基于 BVP信号及EEMD算法构建体征信号， 基于频谱跟 踪算法和体征信号得到用户的实时体征信息， 根 据人脸视频信息对用户进行姿态分析， 判断人脸 视频信息中用户是否产生预设姿态， 当判断人脸 视频信息中用户产生预设姿态时， 记录用户产生 预设姿态的时间信息， 读取时间信息对应的目标 体征信息， 基于目标体征信息和预设姿态识别用 户的情绪识别结果。 本申请结合体征信息和姿态 信息可以更准确地识别用户的情绪。 权利要求书2页 说明书9页 附图2页 CN 115035576 A 2022.09.09 CN 115035576 A 1.一种基于人脸视频的用户情绪识别方法， 其特 征在于， 所述方法包括： 利用预先配置的图像采集设备实时采集用户的人脸视频信 息， 提取所述人脸视频信 息 中的感兴趣区域， 基于所述感兴趣区域得到所述人脸视频信息的BVP信号； 基于所述BVP信号及EEMD算法构建体征信号， 基于频谱跟踪算法和所述体征信号得到 所述用户的实时体征信息； 根据所述人脸视频信 息对所述用户进行姿态分析， 判断所述人脸视频信 息中所述用户 是否产生预设姿态； 当判断所述人脸视频信 息中所述用户产生预设姿态时， 记录所述用户产生预设姿态的 时间信息， 读取所述时间信息对应的目标体征信息， 基于所述 目标体征信息和预设姿态识 别所述用户的情绪识别结果。 2.如权利要求1所述的基于人脸视频的用户情绪识别方法， 其特征在于， 所述基于所述 感兴趣区域得到所述人脸视频信息的BVP信号， 包括： 对所述感兴趣区域内的像素点执 行灰度值归一 化处理后， 执行瑞利分布匹配； 去除所述感兴趣区域内灰度值 落在瑞利分布之外的像素点； 构建所述感兴趣区域内去除像素点后的色彩模型， 将所述色彩模型的RGB三通道信号 进行线性组合得到所述BVP信号。 3.如权利要求1所述的基于人脸视频的用户情绪识别方法， 其特征在于， 所述基于所述 BVP信号及E EMD算法构建体征信号， 包括： 利用EEMD算法将所述BVP信号分解为IMF函数组合， 基于所述IMF函数组合构建体征信 号。 4.如权利要求1所述的基于人脸视频的用户情绪识别方法， 其特征在于， 所述根据 所述 人脸视频信息对所述用户进行姿态分析， 包括： 从所述人脸视频信息中获取 所述用户的人脸图像信息； 根据所述用户的人脸图像信息分析 所述用户的人脸图像信息相对应的目标姿态。 5.如权利要求4所述的基于人脸视频的用户情绪识别方法， 其特征在于， 所述判断所述 人脸视频信息中所述用户是否产生预设姿态， 包括： 将所述目标姿态与所述预设姿态进行匹配； 若匹配成功， 判断所述人脸视频信息中所述用户产生预设姿态； 若匹配失败， 判断所述人脸视频信息中所述用户未产生预设姿态。 6.如权利要求1所述的基于人脸视频的用户情绪识别方法， 其特征在于， 所述基于所述 目标体征信息和预设姿态 识别所述用户的情绪识别结果， 包括： 提取所述目标体征信息对应的文本特 征； 从所述人脸视频信 息中截取所述用户产生预设姿态的姿态图像， 提取所述姿态图像对 应的图像特 征； 将所述文本特 征和所述图像特 征进行融合， 得到融合特 征； 将所述融合特 征输入预 先训练的情绪识别模型， 得到所述用户的情绪识别结果。 7.如权利要求1所述的基于人脸视频的用户情绪识别方法， 其特征在于， 在基于所述目 标体征信息和预设姿态 识别所述用户的情绪识别结果之后， 所述方法还 包括： 将所述用户的情绪识别结果发送至预设终端。权　利　要　求　书 1/2 页 2 CN 115035576 A 28.一种基于人脸视频的用户情绪识别装置， 其特 征在于， 所述装置包括： 提取模块： 用于利用预先配置的图像采集设备实时采集用户的人脸视频信息， 提取所 述人脸视频信息中的感兴趣区域， 基于所述感兴趣区域得到所述人脸视频信息的BVP信号； 构建模块： 用于基于所述BVP信号及EEMD算法构 建体征信号， 基于频谱跟踪算法和所述 体征信号得到所述用户的实时体征信息； 分析模块： 用于根据所述人脸视频信息对所述用户进行姿态分析， 判断所述人脸视频 信息中所述用户是否产生预设姿态； 识别模块： 用于当判断所述人脸视频信息中所述用户产生预设姿态时， 记录所述用户 产生预设姿态的时间信息， 读取所述时间信息对应的目标体征信息， 基于所述目标体征信 息和预设姿态 识别所述用户的情绪识别结果。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执行存储器上所存放的程序时， 实现权利要求1至7中任一项所述的基于 人脸视频的用户情绪识别方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至7中任一项所述基于人脸视频的用户情绪识别方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115035576 A 3