(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655846.5 (22)申请日 2021.12.3 0 (71)申请人 华北电力大 学 （保定） 地址 071003 河北省保定市 市辖区永华北 大街619号 华北电力大 学 （保定） (72)发明人 孔英会　张帅桐　张珂　戚银城　 车辚辚　赵振兵　 (74)专利代理 机构 石家庄冀科专利商标事务所 有限公司 13108 代理人 李羡民 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/08(2006.01) G06N 5/02(2006.01) G06V 40/16(2022.01)G06V 10/774(2022.01) (54)发明名称 基于高效注意力网络和师生迭代迁移学习 的表情识别方法 (57)摘要 一种基于高效注意力网络和师生迭代迁移 学习的表情识别方法， 所述方法构建基于高效注 意力网络的轻量化表情识别模型， 并利用表情数 据集对高效注 意力网络进行训练； 然后将训练好 的网络作为教师网络， 将另一个高效注意力网络 作为学生网络， 利用教师网络输出的软化预测值 对学生网络进行训练； 将完成训练和测试的学生 网络学习到的模 型参数迁移 至教师网络， 重复迭 代迁移训练， 直至学生网络的识别准确率不再上 升， 最后利用学生网络对人脸表情进行识别。 本 发明在保证模 型参数量与计算量水平的同时， 增 强了轻量网络拟合的能力， 并通过师生迭代迁移 学习优化软标签及特征信息， 大大提升了模型识 别精度， 能够满足表情识别在边缘侧资源受限设 备上的部署需求。 权利要求书2页 说明书8页 附图4页 CN 114298233 A 2022.04.08 CN 114298233 A 1.一种基于高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 所述方 法构建基于高效注意力网络的轻量化表情识别模型， 并利用经过预处理及数据增强的表情 数据集对高效注意力网络进行训练； 然后将训练好的高效注意力网络作为教师网络， 将另 一个高效注意力网络作为学生网络， 利用教师网络输出的软化预测值对学生网络进行训 练； 将完成训练和测试的学生网络学习到的模型参数迁移至教师网络， 重复迭代迁移训练， 直至学生网络的识别准确率 不再上升， 最后利用学生网络对人脸表情进行识别。 2.根据权利要求1所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 表情数据集的预处 理方法如下： 将图像缩放为固定尺寸， 统一图像分辨率并将像素值归一化， 若原始图像为灰度图像 则将其复制三份构成三 通道张量。 3.根据权利要求1或2所述的基于高效注意力网络和师生迭代迁移学习的表情识别方 法， 其特征是， 对表情数据集进行 数据增强的方法如下： 按照左上、 右上、 居中、 左下和右下位置对图像张量进行面积为90％的窗口采样以及水 平翻转， 得到数据增强后的表情图像数据集。 4.根据权利要求3所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 所述基于高效注意力网络的轻量 化表情识别模型的构建方法为： 首先基于MobileNetV2基本卷积模块引入局部通道注意力机制构 建高效注意力 逆残差 块， 将高效注意力逆残差块进 行堆叠， 构成高效注意力网络的主体， 然后结合网络首部的二 维卷积层将图像特征从空间域向通道域转换， 最后由尾部的二维卷积层替代全连接层分类 而组成轻量级的全卷积网络 。 5.根据权利要求4所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 所述MobileNetV2基本卷积模块先通过一个卷积核尺 寸为1的二维卷积对图像通 道域升维， 再使用一个卷积核尺寸为3的分组卷积逐通道收集空间特征， 最后再通过一个卷 积卷积核尺寸 为1的二维卷积进行降维并逐点整合各通道的特 征信息。 6.根据权利要求5所述的一种基于 高效注意力网络和师生迭代迁移学习的表情识别方 法， 其特征是， 所述的局部通道注意力机制首先由全局池化层将输入H ×W×C的张量t逐通 道整合空间信息为 1×1×C的一维特征向量， 然后根据相 邻通道的信息， 由一个卷积核尺 寸 为3的一维卷积结合Sigmoid激活函数学习该通道所需的权重值， 最后 将该权值与 原来的张 量t相乘得到缩放后的新特征， 其中， H表示特征图的高度， W表示特征图的宽度， C表示特征 图的通道数。 7.根据权利要求6所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 利用经过预 处理及数据增强的表情数据集对高效注意力网络进 行训练的具体方 法为： 在数据增强后的表情图像数据集上， 使用随机梯度下降优化器按照Softmax损失函数 lsoftmax训练优化高效注意力网络的输出， 计算公式如下： 权　利　要　求　书 1/2 页 2 CN 114298233 A 2其中 和 分别表示模型在训练所得教师网络参数集θteacher下对输入图像 张 量的第i和j个表情的预测输出值， labeli代表图像第i个表情对应的标签值， n代表表情类 别的个数。 8.根据权利要求7所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 利用教师网络 输出的软化预测值对学生网络进行训练的方法为： 使用软化教师网络的输出作为软标签表示表情间的相似性关系， 使用软标签的KL散度 损失和数据集标签的Softmax损失共同训练优化学生网络模型的参数， 具体表示 为： l＝α·T2·lKL+(1‑α )·lSoftmax 式中： 其中 和zi分别代表教师网络和学生网络的预测输出值， α和T分别为软标签比例和蒸 馏温度超参数。 9.根据权利要求8所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 所述重复迭代迁移训练的具体方法为： a.将数据增强后的测试集图像数据输入到优化完毕的学生网络模型， 统计识别准确 率； b.将学生网络学习到的模型参数迁移至教师网络， 令教师网络参数集θteacher等于学生 网络参数集θstudent； c.固定教师网络参数集θteacher， 调整学习率重新优化学生网络参数集θstudent； d.多次重复步骤a～步骤c， 进行教师网络和学生网络模型的迭代训练以及参数迁移， 直至学生网络的识别准确率 不再上升。 10.根据权利要求9所述的基于 高效注意力网络和师生迭代迁移学习的表情识别方法， 其特征是， 所述学生网络与教师网络结构相同。权　利　要　求　书 2/2 页 3 CN 114298233 A 3