(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111636106.7 (22)申请日 2021.12.2 9 (71)申请人 江西师范大学 地址 330000 江西省南昌市南昌县紫阳 大 道99号 (72)发明人 程艳　蔡壮　陈豪迈　项国雄　 (74)专利代理 机构 深圳泛航知识产权代理事务 所(普通合伙) 44867 代理人 邓爱军 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于自注意力特征过滤分类器的双分支生 成对抗网络的面部表情识别模型 (57)摘要 现有面部表情识别方法提取的表情特征通 常与其他的面部属性混在一起， 这不利于面部表 情的识别， 提出基于自注意力特征过滤分类器的 双分支生 成对抗网络的面部表情识别模型。 本发 明的目的是使用生成对抗网络， 并结合注意力机 制、 特征过滤分类器， 生成具有辨别性的表情表 示。 该发明提出基于自注意力机制的特征过滤分 类 器 作为 表 情的 分 类 模 块 ， 使 用级 联的 LayerNorm和Relu将低激活单元归零并保留高激 活单元， 生成多级特征， 使用自注意力机制的融 合方法输 出多级特征的预测结果， 提高识别的准 确率； 提出基于滑动模块的双重图像一致性损失 来监督模型学习具有辨别性的表情表示。 权利要求书1页 说明书3页 附图1页 CN 114283482 A 2022.04.05 CN 114283482 A 1.提出一种基于自注意力特征过滤分类器的双分支生成对抗网络的面部表情识别模 型， 利用生成对抗网络生成具有辨别性的表情表示， 提出基于 自注意力机制的特征过滤分 类器作为表情的分类模块， 使用级联的LayerNorm和Relu将低激活单元归零并保留高激活 单元， 生成多级特征， 使用自注意力机制的融合方法输出多级 特征的预测结果， 在一定程度 上消除噪声对识别结果的影响。 2.根据权利要求1所述的基于自注意力特征过滤分类器的双分支生成对抗网络的面部 表情识别模型， 使用的双分支生成对抗网络将面部表情从一张人脸迁移到另一张人脸， 实 现面部表情分离， 生成具有辨别性的表情表示。 3.根据权利要求1所述的基于自注意力特征过滤分类器的双分支生成对抗网络的面部 表情识别模型， 使用基于 自注意力机制的特征过滤分类器作为表情的分类模块， 该分类模 块输入双分支生成对抗网络学习的具有辨别性的面部表示， 使用级联的LayerNorm和Relu 将低激活单元归零并保留高激活单元， 生成多级特征， 使用基于自注意力机制的融合方法 融合多级特征， 得到最终表情的预测结果。 4.根据权利要求1所述的基于自注意力特征过滤分类器的双分支生成对抗网络的面部 表情识别模型， 提出基于滑动模块的双重图像一致性损失来监督模型 的训练， 减少表情崩 塌图像的生成， 增强模型的特 征表达能力。 5.根据权利要求4所述的基于滑动模块的双重图像一致性损失， 该损失通过在两张重 构图片上进行窗口 的滑动计算重构损失， 更加关注两张重构图像局部区域的差异。权　利　要　求　书 1/1 页 2 CN 114283482 A 2基于自注意力特征过滤分类器的双分支生成 对抗网络的面部 表情识别模型 技术领域 [0001]本发明属于计算机 视觉领域， 应用于面部表情识别任务。 背景技术 [0002]一、 名词解释： 1.面部表情识别(Facial  Expression  Recognition)： 是指利用机 器学习和深度学习技 术， 对图像或视频中的人脸进行情感分析、 处 理和抽取的过程。 2.生成对抗网络(Generative  Adversarial  Network)： 2014年， Goodfellow团队 提出生成对抗网络。 生成对抗网络模型至少包括两个模块： 捕获数据分布的生成器 G和估计 样本来自训练数据的概率的判别器D 。 G的训练程序是将D错误的概率最大化。 最早被用于图 像生成领域。 3.特征过滤分类器(Feature  Filtering Classifier)是指由级联的Layer Norm和 Relu单元组成。 4.自注意力机制(self ‑attention  Mechanism)： 源于对人类视觉的研 究。 在认知 科学中， 由于信息处理的瓶颈， 人类会选择性地关注所有信息的一部 分， 同时忽略其他可见 的信息； 后来有人把这个思想运用到图像处理和自然语言处理当中， 并取得了不错的效果， 引入自注意力机制的目的是为了更好 地关注那些对情感分类重要的单词。 [0003]二、 现有技术： 1.(1)基于手工特征 的方法： Lanitis等提出利用人 的眼睛、 鼻子和 嘴巴的关键位置点计算脸部的运动情况来分析面部所表达的表情 。 Tian等开 发自动面部 分 析系统， 提取面部特征的详细参数描述， 识别面部动作编码系统(Facial  Action Coding  System， FACS)中的动作单元(Action  Unit， AU)。 2.(1)基于卷积神经网络的方法： Zh ang等 为减轻个人属性对面部表情识别结果的影响， 提出一种身份感知卷积神经网络方法 (identity ‑aware convolutional  neural network， IACNN)实现身份不变的面部表情识 别。 Li Yong等针对真实环 境中面部表情识别的遮挡问题， 提出基于块的注 意力卷积神经网 络(pACNN)和基于全局 ‑局部的注意力卷积神经网络方法(gACNN)， 在真实遮挡和合成遮挡 数据集上的实验 结果表明， 提出的方法提高了遮挡人脸和非遮挡人脸识别的准确率。 3.(1) 基于生成对抗网络的方法:Xie等提出一种基于两分支分解的生成对抗网络的面部表情识 别方法， 该方法将表情表示 从其他的面部属性中分离出来， 学习具有辨别性的表情表示， 实 验验证由生成器学习的表情表示比基于 CNN学习的表情表示更有辨别性。 [0004]三、 技术问题： 1.现有面部表情识别方法提取的表情特征通常与其他的面部属性 混在一起， 这不利于面部表情的识别， 且双分支分离的生成对抗网络(Two ‑branch  Disentangled  Generative  Adversarial， TD GAN)方法生成器使用CNN提取表情特征， 特征 值具有有限的感受野， CNN提取的特征容易混入噪声， 提出的双重图像一致性损失在图像整 体发生细微变化和局部巨大变化时计算出来的差值可能相差无几， 将导致生成的图像发生 局部表情崩塌现象。 2、 针对上述缺点， 本发明的目的是使用生 成对抗网络， 并结合注意力机 制、 特征过滤分类器， 生成具有辨别性的表情表示。 通过滑动窗口计算双重图像一致性损，说　明　书 1/3 页 3 CN 114283482 A 3