(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210373661.3 (22)申请日 2022.04.11 (71)申请人 咪咕文化科技有限公司 地址 100032 北京市西城区德胜门外大街 11号5幢40 0室(德胜园区) 申请人 中国移动通信集团有限公司 　 北京京东尚科信息技 术有限公司 (72)发明人 张健　梅涛　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 陈小娟 (51)Int.Cl. G06V 40/16(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) (54)发明名称 基于多区域特征融合的人脸表情识别方法 及相关设备 (57)摘要 本申请公开了一种基于多区域特征融合的 人脸表情识别方法、 系统、 设备及存储介质， 所述 基于多区域特征融合的人脸表情识别方法包括： 获取待检测人脸图像； 将所述待检测人脸图像输 入至表情识别模型中， 基于所述表情识别模型， 对所述待检测人脸图像进行表情识别处理， 得到 表情识别结果； 其中， 所述表情识别模型是基于 具有预设表情标签的人脸训练样本和所述人脸 训练样本的不确定性指标， 对预设待训练模型进 行迭代训练后得到的。 本申请属于人脸识别领 域， 提出以区域人脸训练样本的不确定性指标作 为指导， 基于具有预设表情标签的区域人脸训练 样本对预设待训练模型进行迭代训练的表情识 别模型， 提高表情识别的准确性。 权利要求书2页 说明书11页 附图3页 CN 114821715 A 2022.07.29 CN 114821715 A 1.一种基于多区域特征融合的人脸表情识别方法， 其特征在于， 所述基于多区域特征 融合的人脸表情识别方法包括： 获取待检测人脸图像； 将所述待检测人脸图像输入至表情识别模型中， 基于所述表情识别模型， 对所述待检 测人脸图像进行表情识别处 理， 得到表情识别结果； 其中， 所述表情识别模型是基于具有预设表情标签的人脸训练样本和所述人脸训练样 本的不确定性指标， 对预设待训练模型进行迭代训练后得到的。 2.如权利要求1所述的基于多区域特征融合的人脸表情识别方法， 其特征在于， 所述获 取待检测人脸图像的步骤之前， 所述方法包括： 获取所述人脸训练样本和所述人脸训练样本的表情标签； 基于所述人脸训练样本， 确定所述人脸训练样本的初始不确定性指标； 基于所述人脸训练样本的表情标签和所述初始不确定性指标， 对所述预设待训练模型 进行迭代训练， 得到具有满足精度条件的所述表情识别模型。 3.如权利要求2所述的基于多区域特征融合的人脸表情识别方法， 其特征在于， 所述基 于所述人脸训练样本的表情标签和所述不确定性指标， 对所述预设待训练模型进 行迭代训 练， 得到具有满足精度条件的所述表情识别模型的步骤， 包括： 将所述人脸训练样本 输入至所述预设待训练模型， 得到预测表情结果； 将所述预测表情结果与所述人脸训练样本的表情标签进行差异计算， 得到误差结果； 基于所述 误差结果， 判断所述 误差结果是否满足预设误差阈值范围指示的误差标准； 若所述训练误差结果未满足所述预设误差 阈值范围指示的误差标准， 则更新 区域人脸 训练样本的不确定性指标， 并返回所述将所述区域人脸训练样本输入至所述预设待训练模 型， 得到预测表情结果的步骤， 直到所述训练误差结果满足所述预设误差阈值范围指示的 误差标准后停止训练； 将停止训练的模型作为具有满足精度条件的所述表情识别模型。 4.如权利要求2所述的基于多区域特征融合的人脸表情识别方法， 其特征在于， 所述人 脸样本包括区域人脸样本和完整人脸样本， 所述获取 人脸样本的步骤， 包括： 获取人脸训练样本图像； 提取所述人脸训练样本图像中人脸的所述局部特征图像以及所述整体特征图像， 得到 所述区域人脸样本和所述完整人脸样本； 对所述区域人脸样本和所述完整人脸样本进行人脸图像对齐， 得到所述人脸训练样 本。 5.如权利要求4所述的基于多区域特征融合的人脸表情识别方法， 其特征在于， 所述基 于所述人脸训练样本， 确定所述人脸训练样本的初始不确定性指标的步骤， 包括： 基于所述人脸训练样本， 确定所述人脸训练样本的L ogits； 基于所述人脸训练样本的Logits， 确定所述人脸训练样本中， 所述区域人脸样本的第 一不确定性指标和所述完整人脸样本的第二 不确定性指标； 融合所述第 一不确定性指标和所述第 二不确定性指标， 计算得到所述人脸样本的不确 定性指标。 6.如权利要求5所述的基于多区域特征融合的人脸表情识别方法， 其特征在于， 所述基权　利　要　求　书 1/2 页 2 CN 114821715 A 2于所述人脸训练样本的Logits， 确定所述人脸训练样本中， 所述区域人脸样本的第一不确 定性指标和所述完整人脸样本的第二 不确定性指标的步骤， 包括： 基于所述人脸训练样本预测输出的Logits， 分别计算所述人脸训练样本中， 所述区域 人脸样本和所述完整人脸样本在被预测为对应表情标签的第一 概率和第二 概率； 基于所述 区域人脸样本的第 一概率和所述完整人脸样本的第 二概率， 计算得到所述 区 域人脸样本的第一 不确定性指标和所述完整人脸样本的第二 不确定性指标。 7.如权利要求2所述的基于多区域特征融合的人脸表情识别方法， 其特征在于， 所述获 取人脸训练样本和所述人脸训练样本的表情标签的步骤， 包括： 基于所述人脸训练样本， 提取 所述人脸训练样本的场景信息； 基于所述人脸训练样本的场景信息， 确定所述人脸训练样本的场景类型； 基于所述人脸训练样本的场景类型， 得到所述人脸训练样本的表情标签。 8.一种基于多区域特征融合的人脸表情识别系统， 其特征在于， 所述基于多区域特征 融合的人脸表情识别系统包括： 获取模块， 用于获取待检测人脸图像； 处理模块， 用于将所述待检测人脸图像输入至表情识别模型中， 基于所述表情识别模 型， 对所述待检测人脸图像进行表情识别处理， 得到表情识别结果， 其中， 所述表情识别模 型是基于具有 预设表情标签的人脸训练样本和所述人脸训练样本的不确定性指标， 对预设 待训练模型进行迭代训练后得到的。 9.一种基于多区域特征融合的人脸表情识别设备， 其特征在于， 所述基于多区域特征 融合的人脸表情识别 设备包括： 存储器、 处理器以及存储在存储器上 的用于实现所述基于 多区域特 征融合的人脸表情识别方法的程序， 所述存储器用于存 储实现基于多区域特 征融合的人脸表情识别方法的程序； 所述处理器用于执行实现所述基于多区域特征融合的人脸表情识别方法的程序， 以实 现如权利要求1至7中任一项所述基于多区域特 征融合的人脸表情识别方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质上存储有实现基于多区域特征融合的人 脸表情识别方法的程序， 所述实现基于多区域特征融合的人脸表情识别方法的程序被处理 器执行以实现如权利要求1至7中任一项所述基于多区域特征融合的人脸表情识别方法的 步骤。权　利　要　求　书 2/2 页 3 CN 114821715 A 3