(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599250.6 (22)申请日 2022.05.30 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 (72)发明人 曹叶文　周冠群　蒋友军　袁树森　 邢红波　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张庆骞 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于注意力机制和一维卷积滑窗的微表情 发现方法及系统 (57)摘要 本发明公开一种基于注意力机制和一维卷 积滑窗的微表情发现方法及系统， 包括： 获取视 频流的连续帧图像， 进行空间特征的提取， 对空 间特征进行全局特征和局部特征的提取； 根据某 一图像与其他图像的全局特征之间的相关度， 以 及局部特征之间的相关度， 分别得到全局注意力 权重和局部注 意力权重， 根据全局注 意力权重和 局部注意力权重分别得到全局注意力特征和局 部注意力特征， 将全局注意力特征和局部注意力 特征融合得到注意力特征； 采用一维卷积滑窗以 设定步长和检测间隔在注意力特征中移动， 以提 取每个检测间隔内的特征， 对每个检测间隔内的 特征进行微表情识别， 将检测间隔的微表情识别 结果进行间隔分组， 以更加准确的定位到真实的 微表情位置 。 权利要求书2页 说明书8页 附图4页 CN 114842539 A 2022.08.02 CN 114842539 A 1.基于注意力机制和一维卷积滑窗的微表情发现方法， 其特 征在于， 包括： 获取视频流的连续帧图像， 对连续帧图像进行预处理后， 进行空间特征的提取， 且对空 间特征进行全局特 征和局部特征的提取； 根据某一图像与其他图像的全局特征之间的相关度， 以及局部特征之间的相关度， 分 别得到全局注意力权重和局部注意力权重， 根据全局注意力权重和局部注意力权重 分别得 到全局注意力特征和局部注意力特征， 将全局注 意力特征和局部注意力特征融合得到注意 力特征； 采用一维卷积滑窗以设定步长和检测间隔在注意力特征中移动， 以提取每个检测间隔 内的特征， 对每个检测间隔内的特征进行微表情识别， 将检测间隔的微表情识别结果进行 间隔分组， 以定位 微表情位置 。 2.如权利要求1所述的基于注意力机制和一维卷积滑窗的微表情发现方法， 其特征在 于， 全局注意力权 重Attg为： 其中， Fl是局部特 征； Fg是全局特 征， d是向量长度； 将全局注意力权 重与全局特 征相乘得到全局注意力特 征。 3.如权利要求1所述的基于注意力机制和一维卷积滑窗的微表情发现方法， 其特征在 于， 局部注意力权 重Attl为： 其中， Fg是全局特 征； Fl是局部特 征； d是向量长度； 将局部注意力权 重与局部特 征相乘得到局部注意力特 征。 4.如权利要求1所述的基于注意力机制和一维卷积滑窗的微表情发现方法， 其特征在 于， 将全局注意力特 征和局部注意力特 征相加后取平均得到注意力特 征； 或， 对连续帧图像经预处理后得到图像序列， 对图像序列利用VGG16网络提取空间特 征， 利用Bi ‑LSTM对空间特 征提取全局特 征， 利用一维卷积对空间特 征提取局部特 征。 5.如权利要求1所述的基于注意力机制和一维卷积滑窗的微表情发现方法， 其特征在 于， 一维卷积滑窗从注意力特征的一侧开始， 覆盖注意力特征中kernel_size个元素， 对应 覆盖位置的元素相乘并相加， 得到当前检测间隔内的特征， 然后向另一侧移动 stride个单 位， 再次执 行相同的操作， 最终得到特 征向量。 6.如权利要求1所述的基于注意力机制和一维卷积滑窗的微表情发现方法， 其特征在 于， 将检测间隔的微表情识别结果进行间隔分组的过程包括： 获取检测间隔的微表情识别结果大于第 一阈值的检测间隔， 并获取其在视频流中的实 际位置， 并将该位置数值设定为1， 其 余位置设定为0； 以第一个数值为1的位置作为初始间隔的起始帧位置， 以第 一个数值为0的点的前一位 置作为初始间隔的结束帧位置， 将起始帧位置和结束帧位置组成的间隔添加到初始间隔分 组列表中；权　利　要　求　书 1/2 页 2 CN 114842539 A 2判断初始间隔分组列表中当前间隔的结束帧位置与其后一间隔的起始帧位置之间的 差值的绝对值是否小于或等于第二阈值的间隔， 若 是， 则将当前间隔与其后一间隔合并， 并 添加到间隔分组列表中； 否则， 将当前间隔添加到间隔分组列表中； 获取间隔分组列表中间隔帧数满足微表情平均帧数的间隔， 以此定位 微表情位置 。 7.如权利要求1所述的基于注意力机制和一维卷积滑窗的微表情发现方法， 其特征在 于， 所述预处理包括， 对连续帧图像进 行像素值的归一化处理， 对像素值归一化后的连续帧 图像进行 人脸检测、 人脸对齐、 图像裁 剪和大小归一 化处理。 8.基于注意力机制和一维卷积滑窗的微表情发现系统， 其特 征在于， 包括： 特征提取模块， 被配置为获取视频流的连续帧图像， 对连续帧图像进行预处理后， 进行 空间特征的提取， 且 对空间特 征进行全局特 征和局部特征的提取； 注意力提取模块， 被配置为根据某一图像与其他图像的全局特征之间的相关度， 以及 局部特征之间的相关度， 分别得到全局注意力权重和局部注意力权重， 根据全局注意力权 重和局部注意力权重分别得到全局注意力特征和局部注意力特征， 将全局注意力特征和局 部注意力特 征融合得到注意力特 征； 微表情定位模块， 被配置为采用一维卷积滑窗以设定步长和检测间隔在注意力特征中 移动， 以提取每个检测间隔内的特征， 对每个检测间隔内的特征进 行微表情识别， 将 检测间 隔的微表情识别结果进行间隔分组， 以定位 微表情位置 。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项所述的方 法。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114842539 A 3