(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211279833.7 (22)申请日 2022.10.19 (71)申请人 天津中科智能识别有限公司 地址 300450 天津市滨 海新区天津经济技 术开发区第二大街57号泰达MSD-G1座 1001单元 (72)发明人 茹一伟　孙哲南　何召峰　 (74)专利代理 机构 天津市三利专利商标代理有 限公司 12107 专利代理师 韩新城 (51)Int.Cl. G06V 40/40(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于多时序注意力网络对人脸伪造视频检 测方法 (57)摘要 本发明公开一种基于多时序注意力网络对 人脸伪造视频检测方法， 通过一个审视分支网络 将从审视序列的帧中注意力特征图作为特征图 权重信息， 通过卷积操作检测审 视序列中待处理 帧中的伪影； 通过一个浏览分支网络通过卷积操 作检测浏览序列中待处理帧的连贯性， 同时与所 述的审视分支网络在每一层的输出通过侧向连 接融合； 最后由全连接层对浏览分支网络、 审视 分支网络 各自卷积处理的输出结果融合， 最后输 出识别结果， 保证了人脸检测的有效性且大大提 升了检测效率。 权利要求书2页 说明书6页 附图3页 CN 115512448 A 2022.12.23 CN 115512448 A 1.基于多时序注意力网络对人脸伪造 视频检测方法， 其特 征在于， 包括： 对输入的视频序列由起始帧起进行人脸检测、 跟踪， 识别出同一人脸后存储为待处理 的人脸序列； 网络对人脸序列按不同时序采样率降采样， 得到浏览序列、 审视序列； 对审视序列中的帧提取注意力特 征图； 浏览分支网络每次通过卷积操作提取到浏 览序列中帧的特征图后， 与审视分支网络每 一层输出 的特征图通过侧向连接融合， 融合后特征图作为浏览分支网络下一卷积的输入； 审视分支网络每次卷积操作提取到审视序列中帧的特征图后， 与对应的注意力特征图相乘 后输出； 全连接层对浏览分支网络、 审视分支网络各自卷积处理的输出结果融合， 最后输出识 别结果。 2.根据权利要求1所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在于， 所述浏览 分支网络、 审视分支网络进行 卷积操作的每一层的卷积核大小相同。 3.根据权利要求2所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在于， 所述浏览分支网络进行卷积操作的每一层的卷积核的数量是所述审视分支网络的每一层 的卷积核的数量β 倍， α ×β ＝1， 浏览序列的长度为审视序列长度的α 倍。 4.根据权利要求1所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在于， 所述侧向连接融合采用稠密卷积融合， 其实现步骤如下： 对浏览分支网络形成的特征图用3D卷积网络处理,将每一帧的特征图个数降低， 然后 将得到的特征图与审视分支网络形成的特征图按照对应关系 连接， 进行融合， 得到对应的 融合特征图。 5.根据权利要求4所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在于， 所述对浏览分支网络形成的特征图用3D卷积网络处理的采样间隔为 1/α， 每隔1/α 帧取一帧 进行处理。 6.根据权利要求1所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在于， 采用预训练的网络来对审视序列中的帧提取注意力特 征图。 7.根据权利要求6所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在于， 采用预训练的U ‑Net网络来对审视序列中的帧提取注意力特 征图。 8.根据权利要求7所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在于， 训练的U‑Net网络时， 基于数据集中真实人脸与伪造人脸存在 对应关系， 通过正负样本间做 差， 得到伪造人脸对于真实人脸的伪造区域， 从而得到帧的注意力特 征图。 9.根据权利要求7或8所述基于多时序注意力网络对人脸伪 造视频检测方法， 其特征在 于， 对所述U ‑Net网络训练时， 引入软注意力标签， 将软注意力标签作为真实人脸图像的标 签取代真 实人脸图像对网络训练， 将真实人脸图像表示为RImage,真实人脸图像压缩率为ρ(0 <ρ <1)， 真实人脸图像的软标签表示为Slabel， ρ×RImage代表真实人脸图像压缩ρ 倍， 即真实人 脸图像的分辨 率从(W,H)压缩为( ρ ×W, ρ×H),真实人脸图像的软 标签的表达式如下： Slabel＝( ρ×RImage)×(1/p)‑RImage。 10.根据权利要求1所述基于多时序注意力网络对人脸伪造视频检测方法， 其特征在 于， 在检测过程中， 所述浏览分支网络对人脸序列的扫描帧率大于所述审视分支网络的扫权　利　要　求　书 1/2 页 2 CN 115512448 A 2描帧率。权　利　要　求　书 2/2 页 3 CN 115512448 A 3