(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210548960.6 (22)申请日 2022.05.20 (71)申请人 公安部第三研究所 地址 200031 上海市徐汇区岳阳路76号 (72)发明人 吴松洋　管林玉　张颖　高峰　 陆璟妍　 (74)专利代理 机构 上海智信专利代理有限公司 31002 专利代理师 王洁　郑暄 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) (54)发明名称 基于眼部特征和人脸特点实现深度伪造融 合检测的系统、 方法、 装置、 处 理器及其存 储介质 (57)摘要 本发明涉及一种基于眼部特征和人脸特点 实现深度伪造融合检测的系统， 其中， 该系统包 括： 待检测图像序列处理模块， 用于从待检测视 频中按帧提取出含有人脸的待检测图像序列； 眼 部特征图像序列提取模块， 用于定位出人脸区域 并提取眼部局部特征图像序列； 骨干网络特征提 取处理模块， 用于进行防伪图像检测； 图像融合 预测处理模块， 用于采用回归函数分别获取待检 测图像和眼部局部特征图像的预测概率分布， 并 通过图像融合， 获取当前帧图像的最终伪造概 率。 本发明还涉及一种相应的方法、 装置、 处理器 及其存储介质。 采用了本发明的该系统、 方法、 装 置、 处理器及其存储介质， 在现有检测方法的基 础上加入眼部特征点， 从而更加准确、 有效识别 出深度伪造 视频。 权利要求书3页 说明书9页 附图2页 CN 114898269 A 2022.08.12 CN 114898269 A 1.一种基于 眼部特征和人脸特点实现深度伪造融合检测的系统， 其特征在于， 所述的 系统包括： 待检测图像序列处理模块， 用于从待检测视频中按帧提取出含有人脸的待检测图像序 列； 眼部特征图像序列提取模块， 与所述的待检测图像序列处理模块相连接， 用于定位出 所述的待检测图像序列中的人脸区域， 并根据定位到的人脸区域提取眼部局部特征图像序 列； 骨干网络特征提取处理模块， 均与 所述的待检测图像序列处理模块和眼部特征图像序 列提取模块相连接， 用于将待检测图像和眼部局部特征图像输入到深度伪造换脸模型中进 行防伪图像 检测； 以及 图像融合预测 处理模块， 与所述的骨干网络特征提取处理模块相连接， 用于采用回归 函数分别获取所述的待检测图像和眼部局部特征图像的预测概率分布， 并通过图像融合， 获取当前帧图像的最终伪造概 率。 2.根据权利要求1所述的基于眼部特征和人脸特点实现深度伪造融合检测的系统， 其 特征在于， 所述的系统深度伪造换脸模型 具体包括以下处 理过程： (i)获取预设数量含有真实人脸的第一视频帧图像以及同等数量含有伪造人脸的第二 视频帧图像； (ii)对所述的第一视频帧图像以及第二视频帧图像采用MTCNN/S3FD检测方法分别提 取出含有 人脸的视频帧， 以获取含有 人脸的第一图像序列以及 含有伪造人脸的第二图像序 列； (iii)同时定位所述的第一视频帧图像以及第二视频帧图像中的人脸区域， 对所述的 人脸区域进行视频帧检测扩展处理， 并分别对扩展后的视频帧图像添加真伪标签， 以获取 待检测图像序列； (iv)使用图像增强库albumentations对待检测图像进行旋转、 翻转、 缩放、 裁剪、 加噪、 移位的图像操作， 并将处 理后的图像加入到所述的待训练图像中， 以达 到数据增强的目的； (v)使用dlib开源库的人脸识别方法， 定位出所述的待检测图像的眼部局部图， 并将其 扩大到适当范围， 以进行后续处 理； (vi)将得到的扩大检测范围的眼部特 征图与所述的待检测图像作为双流网络的输入； (vii)所述的双流网络对上述处理过程(vi)输入的眼部特征图与所述的待检测图像进 行特征提取， 分别将每轮提取到的检测结果与训练集标签中的真伪标签进行比对， 并使用 损失函数计算损失值 L； (viii)重复上述各个处理过程， 使得损失值L收敛， 以逼近最优解， 当损失值小于预期 值或迭代次数达 到预先设定的迭代次数， 则获得最终的深度伪造换脸模型。 3.根据权利要求2所述的基于眼部特征和人脸特点实现深度伪造融合检测的系统， 其 特征在于， 所述的处 理过程(vi i)中所述的使用损失函数计算损失值 L具体为： 将待训练图像分类结果的第一交叉熵Lraw与眼部特征图像分类结果的第二交叉熵Leye， 分别通过以下公式计算损失值 L： 权　利　要　求　书 1/3 页 2 CN 114898269 A 2其中， yi表示样本i的真实分类标签， pi表示模型对样本i预测的分类标签， N表示样本数 量； 通过将计算出的第一交叉熵Lraw的损失值与第二交叉熵Leye的损失值进行加权融合处 理， 得到最终的损失值结果。 4.一种利用权利要求1所述的系统实现基于眼部特征和人脸特点的深度伪造 融合检测 的方法， 其特 征在于， 所述的方法包括以下步骤： (1)输入待检测视频； (2)从所述的待检测视频中提取含有人脸的待检测图像序列， 并定位出 人脸区域； (3)从所述的含有人脸的待检测图像序列中提取 出眼部局部图像序列； (4)将定位出的人脸区域扩展适当范围， 获得待检测图像序列； (5)将所述的含有人脸的待检测图像序列输入到骨干网络中进行 特征提取； (6)将所述的眼部局部图像序列输入到骨干网络中进行 特征提取； (7)将双流网络 中提取到的待检测图像和眼部局部图像的特征的预测概率分别进行融 合处理， 得到最终的伪造概 率。 5.根据权利要求4所述的实现基于眼部特征和人脸特点的深度伪造融合检测的方法， 其特征在于， 所述的步骤(2)具体包括以下步骤： (2.1)使用FFmpeg工具， 从含有真实人脸的待检测视频中按帧提取出预设数量的第一 视频帧图像； (2.2)对所述的含有真实人脸的待检测视频进行换脸操作， 获取到具有同等预设数量 的含有伪造人脸的第二视频帧图像； (2.3)使用MTCNN/S3FD的检测方法提取出所述的第一视频帧图像和第二视频帧图像中 含有人脸的视频帧， 获得含有人脸的图像序列； (2.4)使用dlib库定位出所述的图像序列中的人脸区域， 对所述的人脸区域进行扩展， 并对所述的人脸区域添加真伪标签， 获得待检测图像序列。 6.根据权利要求5所述的实现基于眼部特征和人脸特点的深度伪造融合检测的方法， 其特征在于， 使用图像增强库albumentations对所述的待检测图像序列进行旋转、 翻转、 缩 放、 裁剪、 加噪、 移 位的图像处理操作， 并将处理后的图像加入待训练图像中， 以达到数据增 强的目的。 7.根据权利要求4所述的实现基于眼部特征和人脸特点的深度伪造融合检测的方法， 其特征在于， 所述的步骤(3)具体为： 使用dlib开源库的人脸识别方法， 定位出待检测图像序列中的包含人脸的眼部局部图 像。 8.根据权利要求4所述的实现基于眼部特征和人脸特点的深度伪造融合检测的方法， 其特征在于， 所述的骨干网络为XceptionNet、 InceptionNet、 ResNet、 VggNet或者 MobileNet中的任意 一种卷积神经网络 。 9.根据权利要求4所述的实现基于眼部特征和人脸特点的深度伪造融合检测的方法， 其特征在于， 所述的待检测图像序列具体为： 所述的待检测图像序列中含有真实人脸的图像数量与 含有伪造人脸的图像数量相等；权　利　要　求　书 2/3 页 3 CN 114898269 A 3