(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210534263.5 (22)申请日 2022.05.17 (71)申请人 中南大学 地址 410012 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 刘熙尧　邹晓强　张健　贺建飚　 张伟　方辉　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 刘芳 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 20/40(2022.01) G06V 20/00(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多特征融合的伪造人脸视频检测方法 及系统 (57)摘要 本发明涉及一种基于多特征融合的伪造人 脸视频检测方法及系统， 涉及目标检测技术领 域， 方法包括： 对待检测人脸视频进行帧分解， 以 得到多张连续待检测人脸图像； 将待检测人脸图 像输入至空间特征提取网络， 以得到融合特征 图； 将多张融合特征图输入至时序注意力网络， 以确定人脸视频类型。 空间特征提取网络包括第 一伪造特征支路、 第二伪造特征支路、 跨模态交 互模块和特征融合模块； 跨模态交互模块用于提 取所述第一伪造特征支路与所述第二伪造特征 支路之间的图像特征互补信息， 并将所述图像特 征互补信息对应输入至所述第一伪造特征支路 和所述第二伪造特征支路。 本发 明提高了伪造人 脸视频检测的准确性。 权利要求书4页 说明书11页 附图2页 CN 114898432 A 2022.08.12 CN 114898432 A 1.一种基于多特征融合的伪造人脸视频检测方法， 其特征在于， 所述伪造人脸视频检 测方法包括： 对待检测人脸视频进行帧分解， 以得到多张连续待检测人脸图像； 将所述待检测人脸图像输入至空间特 征提取网络， 以得到融合特 征图； 将多张所述融合特征图输入至时序注意力网络， 以确定人脸视频类型； 所述人脸视频 类型包括 正常人脸视频和伪造人脸视频； 其中， 所述空间特征提取网络包括第 一伪造特征支路、 第 二伪造特征支路、 跨模态 交互 模块和特征融合模块； 所述第一伪造特征支路用于对所述待检测人脸图像进行特征提取， 以得到第一特征图； 所述第二伪造特征支路用于对所述待检测人脸图像依次进行高通预处 理和特征提取， 以得到第二特 征图； 所述跨模态 交互模块设置在所述第 一伪造特征支路与 所述第二伪造特征支路之间， 所 述跨模态交互模块用于提取所述第一伪造特征支路与所述第二伪造特征支路之间的图像 特征互补信息， 并将所述图像特征互补信息对应输入至所述第一伪造特征支路和所述第二 伪造特征支路； 所述特征融合模块的输入端分别与 所述第一伪造特征支路的输出端、 所述第 二伪造特 征支路的输出端连接， 所述特征融合模块用于将所述第一特征图和所述第二特征图进 行特 征融合， 以得到融合特 征图。 2.根据权利要求1所述的基于多特征融合的伪 造人脸视频检测方法， 其特征在于， 所述 第一伪造特征支路包括依次连接的第一特征提取模块和第三特征提取模块； 所述第二伪造 特征支路包括依次连接的高通预处 理模块、 第二特 征提取模块和第四特 征提取模块； 所述第一特征提取模块用于对所述待检测人脸图像进行RGB域空间特征提取， 以得到 第一子特征图； 所述高通预处理模块用于对所述待检测人脸图像进行高频噪声提取， 以得 到第一噪声图； 所述第二特征提取模块用于对所述第一噪声图进行特征提取， 以得到第二 子特征图； 所述第一特征提取模块的输出端还与所述跨模态 交互模块的第 一输入端连接； 所述第 二特征提取模块的输出端还与所述 跨模态交 互模块的第二输入端连接； 所述跨模态 交互模块的第 一输出端与所述第 三特征提取模块的输入端连接； 所述跨模 态交互模块的第二输出端与所述第四特征提取模块的输入端连接； 所述跨模态交互模块用 于对所述第一子特征图和所述第二子特征图进行交互， 提取第一互补信息和第二互补信 息， 然后将所述第一互补信息输入至所述第三特征提取模块， 将所述第二互补信息发送至 所述第四特征提取模块； 所述第一互补信息为所述第二子特征图相对于所述第一子特征图 的区别特征信息； 所述第二互补信息为所述第一子特征图相对于所述第二子特征图的区别 特征信息； 所述第三特征提取模块用于根据所述第 一子特征图和所述第 一互补信 息， 确定第 一特 征图； 所述第四特征提取模块用于根据所述第二子特征图和所述第二互补信息确定第二特 征图； 所述第三特征提取模块的输出端和所述第四特征提取模块的输出端均与所述特征融 合模块的输入端连接 。 3.根据权利要求2所述的基于多特征融合的伪 造人脸视频检测方法， 其特征在于， 所述权　利　要　求　书 1/4 页 2 CN 114898432 A 2跨模态交互模块包括第一拼接子模块、 卷积子模块、 最大池化子模块、 平均池化子模块、 第 二拼接子模块和卷积激活子模块； 所述第一拼接子模块的第 一输入端与所述第 一特征提取模块的输出端连接， 所述第 一 拼接模块的第二输入端与所述第二特 征提取模块的输出端连接； 所述第一拼接子模块的输出端与 所述卷积子模块的输入端连接； 所述卷积子模块的第 一输出端与所述最大池化子模块的输入端连接， 所述卷积子模块的第二输出端与所述平均 池化子模块的输入端连接； 所述最大池化子模块的输出端与 所述第二拼接子模块的第 一输入端连接， 所述平均池 化子模块的输出端与所述第二拼接子模块的第二输入端连接； 所述第二拼接子模块的输出 端与所述卷积激活子模块的输入端连接； 所述卷积激活子模块的第 一输出端与所述第 三特征提取模块的输入端连接， 所述卷积 激活子模块的第二输出端与所述第四特 征提取模块的输入端连接 。 4.根据权利要求1所述的基于多特征融合的伪 造人脸视频检测方法， 其特征在于， 所述 空间特征提取网络的训练过程， 具体包括： 根据训练集和损失函数， 对标定深度卷积网络进行训练， 以得到空间特征提取网络； 所 述训练集包括初始人脸图像和所述初始人脸图像对应的标签信息； 所述标签信息为所述初 始人脸图像中的人脸面部特征； 所述标定深度卷积网络包括第一标定伪造特征支路、 第二 标定伪造特 征支路、 标定跨模态交 互模块、 标定特 征融合模块和标定分类模块； 所述第一标定伪 造特征支路的输入端用于输入所述初始人脸图像； 所述第 一标定伪 造 特征支路的输出端与所述标定特 征融合模块的第一输入端连接； 所述第二标定伪 造特征支路的输入端用于输入所述初始人脸图像； 所述第 二标定伪 造 特征支路的输出端与所述标定特 征融合模块的第二输入端连接； 所述标定跨模态交互模块设置在所述第一标定伪造特征支路与所述第二标定伪造特 征支路之间； 所述标定 融合模块的输出端与所述标定分类模块的输入端连接； 所述标定分类模块的 输出端用于 输出所述初始人脸图像的面部特 征。 5.根据权利要求2所述的基于多特征融合的伪 造人脸视频检测方法， 其特征在于， 所述 跨模态交互模块包括第一交互子模块、 第二交互子模块和第三交互子模块； 所述第一伪造 特征支路还包括第一特征提取子模块和第三特征提取子模块； 所述第二伪造特征支路还包 括第二特 征提取子模块和第四特 征提取子模块； 所述第一交互子模块的第 一输入端与所述第 一特征提取模块的输出端连接， 所述第 一 交互子模块的第一输出端与所述第一特 征提取子模块的输入端连接； 所述第一交互子模块的第 二输入端与所述第 二特征提取模块的输出端连接； 所述第 一 交互子模块的第二输出端与所述第二特 征提取子模块的输入端连接； 所述第二交互子模块的第 一输入端与所述第 一特征提取子模块的输出端连接， 所述第 二交互子模块的第一输出端与第三特 征提取子模块的输入端连接； 所述第二交互子模块的第 二输入端与所述第 二特征提取子模块的输出端连接； 所述第 二交互子模块的第二输出端与第四特 征提取子模块的输入端连接； 所述第三交互子模块的第 一输入端与所述第 三特征提取子模块的输出端连接， 所述第权　利　要　求　书 2/4 页 3 CN 114898432 A 3