(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210380766.1 (22)申请日 2022.04.12 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 李硕豪　于淼淼　张军　陈超　 雷军　彭娟　孙博良　王翔汉　 赵翔　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) (54)发明名称 一种联合多尺度特征的深度伪造图像检测 方法及系统 (57)摘要 本发明公开了一种联合多尺度特征的深度 伪造图像检测方法， 具体来 说， 首先， 基于反事实 因果推理来扩充数据集， 并生 成反事实和事实样 本， 以防止模型受到伪相关特征的干扰， 确保模 型学习到无偏的特征表达。 随后， 构建了一个双 流预测网络， 该网络使用足够底层的和较高级的 卷积特征来捕获不同类型的伪造痕迹。 在每个流 中利用基于特征金字塔的多尺度特征提取模块 来丰富特征表 示， 每个流的末端分别设置了一个 分类器。 经多特征融合后， 利用更深层的卷积模 块， 从之前学习到的组合特征中学习更高级的语 义信息， 然后使用分类器进行预测。 最后， 将设置 在网络不同位置处的三个分类器的结果组合起 来得到最终的预测结果。 权利要求书2页 说明书8页 附图2页 CN 114724008 A 2022.07.08 CN 114724008 A 1.一种联合多尺度特 征的深度伪造图像 检测方法， 其特 征在于， 所述方法包括： 对输入视频进行数据 预处理得到输入图像， 并对输入图像进行基于反事实因果推理 的 数据增强， 生成反事实和事实增强样本； 构建双流预测网络， 所述双流预测网络包括浅层伪 造特征提取及 分类子网络和深层伪 造特征提取及分类子网络， 所述浅层伪造特征提取及分类子网络将所述反事实和事实增强 样本依次输入第一卷积模块、 全局平均池化层、 第一多尺度特征提取模块得到特征图 fmul_tex， 将所述特征图fmul_tex喂入第一分类器， 得到预测值S1； 所述深层伪造特征提取及分 类子网络将所述反事实和事实增强样本依 次输入第一卷积模块、 第二卷积模块、 第三卷积 模块、 第二多尺度特征提取模块得到特征图fmul_sem， 将所述特征图fmul_sem喂入第二分类器， 得到预测值S2； 进行多特征融合与分类， 将特征图fmul_tex和特征图fmul_sem串联起来， 得到特征表达 ftotal， 将所述ftotal依次通过第四卷积模块、 第五卷积模块、 第三分类 器， 得到预测值S3； 采用少数服从多数的原则， 通过对预测值S1、 S2、 S3进行投票来决定输入图像是否真 实。 2.根据权利要求1所述方法， 其特征在于， 所述对输入图像进行基于反事实因果推理 的 数据增强， 具体包括， 生成的反事实样本为： 生成的事实样本为： 其中， i是具有Ω像素的输入图像， 为因果相关区域， 0表示非因果， 1表示因 果， 表示因果区域中的填充图像， ⊙表示逐元素点乘， 表示非因果区域中的填充图像。 3.根据权利要求2所述方法， 其特征在于， 所述填充图像采用灰度填充、 随机填充和混 合填充， 对于所述反事实样本， 采用灰度填充和随机填充的图像， 其标签重置为随机数0或 1， 采用混合填充的图像， 其标签与 原始输入图像的标签相反； 对于所述事实样本， 采用灰度 填充、 随机填充和混合 填充的图像， 其标签与原 始输入保持一 致。 4.根据权利要求1所述方法， 其特征在于， 所述多尺度特征提取模块主要由下采样路 径、 上采样路径和垂直连接组成。 5.根据权利要求1 ‑4所述方法， 其特 征在于， 总损失函数为： L＝α *LCE_A+β LCE_B+γLCE_C 其中， LCE_A,LCE_B和LCE_C分别表示第一分类器、 第二分类器和第三分类器的损失函数， α， β 和γ是权 重系数， α ＝β ＝γ＝1。 6.根据权利要求5所述方法， 其特征在于， 所述第一分类器、 第二分类器和第三分类器 的损失函数均为： 其中， yj和pj分别表示输入图像j的标签和模型预测其为真实图像的概率值， N表示训练 样本的总数。权　利　要　求　书 1/2 页 2 CN 114724008 A 27.一种联合多尺度特 征的深度伪造图像 检测系统， 其特 征在于， 所述系统包括： 数据预处理模块， 对输入视频进行数据预处理得到输入图像， 并对输入图像进行基于 反事实因果推理的数据增强， 生成反事实和事实增强样本； 双流预测网络模块， 所述双流预测网络模块包括浅层伪 造特征提取及分类子网络和深 层伪造特征提取及分类子网络， 所述浅层伪造特征提取及分类子网络将所述反事实和事实 增强样本依 次输入第一卷积模块、 全局平均池化层、 第一多尺度特征提取模块得到特征图 fmul_tex， 将所述特征图fmul_tex喂入第一分类器， 得到预测值S1； 所述深层伪造特征提取及分 类子网络将所述反事实和事实增强样本依 次输入第一卷积模块、 第二卷积模块、 第三卷积 模块、 第二多尺度特征提取模块得到特征图fmul_sem， 将所述特征图fmul_sem喂入第二个分类 器， 得到预测值S2； 多特征融合与分类模块， 进行多特征融合与分类， 将特征图fmul_tex和特征图fmul_sem串联 起来， 得到特征表达ftotal， 将所述ftotal依次通过第四卷积模块、 第五卷积模块、 第三分类 器， 得到预测值S3； 判别模块， 采用少数服从多数的原则， 通过对预测值S1、 S2、 S3进行投票来决定输入图 像是否真实。权　利　要　求　书 2/2 页 3 CN 114724008 A 3