(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211059275.3 (22)申请日 2022.08.31 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 毛莎莎　闫丹丹　石光辉　缑水平　 焦李成　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 田文英　王品华 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/32(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于注意力图像的人脸表情识别方法 (57)摘要 本发明公开了一种基于注意力图像的人脸 表情识别方法， 主要解决现有技术在挖掘人脸关 键区域时挖掘的人脸关键区域不准确和挖掘的 人脸关键区域较为粗糙的问题。 本发 明为每张人 脸表情图像生成与其分辨率相同且标签也相同 的注意力图像， 用于挖掘人脸的关键区域。 本发 明利用人脸表情图像及其对应的标签、 注意力图 像及其对应的标签共同训练卷积神经网络。 本发 明训练好的网络更加关注人脸表情图像中的关 键区域像素， 可以实现在像素级别上对人脸关键 区域的自动定位， 提高了人脸表情图像的识别准 确率。 权利要求书2页 说明书6页 附图2页 CN 115410258 A 2022.11.29 CN 115410258 A 1.一种基于注意力图像的人脸表情识别方法， 其特征在于， 利用卷积神经网络生成每 张人脸表情图像对应的注意力图像， 利用人脸表情 图像及其注意力图像训练卷积神经网 络； 该方法的具体步骤 包括如下： 步骤1， 生成训练集： 步骤1.1， 采集至少10000 张人脸表情图像组成样本集， 样本集 中至少包括3种不同的人 脸表情的情绪类别， 每种情绪类别至少采集280张图像； 步骤1.2， 采用224 ×224的采样分辨率， 对样本集中的每张图像进行双线性采样， 对采 样后的图像进行归一化处理， 将归一化后的所有人脸表情 图像及其对应的标签组成训练 集； 步骤2， 搭建一个卷积神经网络并设置卷积神经网络的参数； 步骤3， 利用卷积神经网络为训练集中的每张人脸表情图像生成对应的注意力图像： 步骤3.1， 将 从训练集中随机选取的一张人脸表情图像输入到卷积神经网络 中， 输出所 选图像属于真实标签的概 率值以及所选图像的特 征图； 步骤3.2， 按照下式， 计算所选图像的特 征图中每 个通道的权 重： 其中， ak表示所选图像的特征 图中第k个通道Ak的权重， m和n分别表示通道Ak在垂直高 度和水平宽度方向上的元素总数， i和j分别 表示通道Ak在垂直高度和水平宽度方向上的元 素序号， h表示将所选图像输入到卷积神经网络后输出的属于真实标签的概 率值； 步骤3.3， 对特 征图中的所有通道加权求和， 得到所选图像的加权特 征图； 步骤3.4， 计算加权特征图中所有元素的均值， 将加权特征图中小于或等于均值的元素 置为0， 得到所选图像的重要性矩阵； 步骤3.5， 对重要性矩阵进行归一化处理， 将归一化后的重要性矩阵缩放至与所选图像 相同尺寸， 得到所选图像的注意力矩阵； 步骤3.6， 将所选图像与其注意力矩阵点乘， 得到所选图像的注意力图像， 并将所选图 像的标签作为注意力图像的标签； 步骤3.7， 判断是否选完训练集中所有的人脸表情图像， 若是， 则执行步骤4， 否则， 执行 步骤3.1； 步骤4， 训练卷积神经网络： 按照批次将训练集中的图像及其对应的标签、 图像的注意力图像及其对应的标签依次 输入到卷积神经网络中， 使用Adam优化器优化训练过程， 通过梯度下降算法， 迭代更新卷积 神经网络中各层的参数， 直至卷积神经网络的交叉熵损失函数收敛为止， 得到训练好的卷 积神经网络； 步骤5， 识别人脸图像中的表情类别： 采用224×224的采样分辨率， 对每张待识别人脸 图像进行双线性采样， 对采样后的图 像进行归一化处理， 将归一化后的图像输入到训练好的卷积神经网络中， 输出该张人脸图 像的表情类别。 2.根据权利要求1所述的基于注意力图像的人脸表情识别方法， 其特征在于， 步骤2中权　利　要　求　书 1/2 页 2 CN 115410258 A 2所述卷积神经网络的结构依次为： 输入层， 第一卷积层， 第二卷积层， 第一池化层， 第三卷积 层， 第四卷积层， 第二池化层， 第五卷积层， 第六卷积层， 第七卷积层， 第三池化层， 第八卷积 层， 第九卷积层， 第十卷积层， 第四池化层， 第十一卷积层， 第十二卷积层， 第十三卷积层， 第 五池化层， 展平层， 第一全连接层， 随机失活层， 第二全连接层， 输出层。 3.根据权利要求1所述的基于注意力图像的人脸表情识别方法， 其特征在于， 步骤2中 所述设置卷积神经网络的参数如下： 将输入层的维度大小设置为b ×224×224×3， 其中， b表示卷积神经网络一次输入所选 取的样本数， b≥32； 将第一至第十三卷积层的卷积核个数依 次设置为64， 64， 128， 128， 256， 256， 256， 512， 512， 512， 512， 512， 512， 卷积核尺 寸均设置为3 ×3， 步长均设置为1， 激活函数均采用线性整 流函数； 将第一至第五池化层的池化窗口均设置为2 ×2， 步长均设置为2； 展平层采用flat ten函数将输入的矩阵拉伸成一个向量； 将第一全连接层的节点数量设置为512， 激活函数采用带泄 露的线性整流 函数； 将第二全连接层的节点数量设置为 n， n≥3且与训练集中的标签 类别数相等； 随机失活层采用dropout函数将每 个神经元以概率p置为0， 0 ≤p<1。 4.根据权利要求1所述的基于注意力图像的人脸表情识别方法， 其特征在于， 步骤3.3 中所述的对特 征图中的所有通道加权求和是由下述公式得到的： 其中， Map表示所选图像的加权特征图， D表示特征图的通道总数， k表示特征图的通道 序号， ak表示特征图中第k个通道 Ak的权重。 5.根据权利要求1所述的基于注意力图像的人脸表情识别方法， 其特征在于， 步骤4中 所述的交叉熵损失函数L如下： 其中， log表示以10为底的对数操作， hi表示训练集中第i张图像经过卷积神经网络输 出 的属于真实标签的概率值， 表示训练集中第i张图像对应的注意力图像经过卷积神经网 络输出的属于真实标签的概 率值。权　利　要　求　书 2/2 页 3 CN 115410258 A 3