(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650672.3 (22)申请日 2021.12.3 0 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 晏榕　张光斌　赵建强　尤俊生　 杜新胜　张辉极　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 代理人 郭涵炜 (51)Int.Cl. G06V 30/40(2022.01) G06V 30/422(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于证件文档类图像篡改的检测方法 和系统 (57)摘要 公开了一种用 于证件文档类图像篡改的检 测方法和系统， 包括对原始图像进行第一次篡改 和后处理， 在第一次篡改和后处理的基础上进行 第二次篡改和后处理获得篡改图像； 利用结构相 似性算法从亮度、 对比度和结构分别比较原始图 像和篡改图像的灰度图的差异性， 获得伪造区域 掩膜图； 将篡改图像和 伪造区域掩膜图输入基于 ScSE U‑Net网络以及孪生网络进行训练获得检 测模型； 利用检测模型对待检测图像进行推理， 获得预测的掩膜图像。 本发明可以有效提升证书 文档类的图像篡改检测 和定位能力。 权利要求书2页 说明书7页 附图4页 CN 114419633 A 2022.04.29 CN 114419633 A 1.一种用于证件文档类图像篡改的检测方法， 其特 征在于， 包括： S1： 对原始图像进行第一次篡改和后处理， 在所述第一次篡改和后处理的基础上进行 第二次篡改和后处 理获得篡改图像； S2： 利用结构相似性算法从亮度、 对比度和结构分别比较所述原始图像和所述篡改图 像的灰度图的差异性， 获得伪造区域掩膜图； S3： 将所述篡改图像和所述伪造区域掩膜图输入基于ScSE  U‑Net网络以及孪生网络进 行训练获得检测模型； 以及 S4： 利用所述检测模型对待检测图像进行推理， 获得 预测的掩膜图像。 2.根据权利要求1所述的用于证件文档类图像篡改的检测方法， 其特征在于， 所述步骤 S1中篡改包括同图复制、 异图拼接、 去除像素、 其他像素填充和字符生成， 所述后处理包括 加入高斯模糊、 JPEG压缩和 加入噪声。 3.根据权利要求1所述的用于证件文档类图像篡改的检测方法， 其特征在于， 所述步骤 S2中的所述伪造区域掩膜图中无差异位置像素点 为黑色， 差异位置像素点 为白色。 4.根据权利要求1所述的用于证件文档类图像篡改的检测方法， 其特征在于， 所述步骤 S2中结构相似性 算法通过以下公式表征相似性： 其中uX、 uY分布表示图像X和Y的均值， σX、 σY分别表示图像X和Y的标准差， σXY表示图像X 和Y的协方差， C1、 C2、 C3为常数， 结构相似性算法SSIM指数为SSIM(X,Y)＝L(x,y)*C(X,Y)*S (X,Y)。 5.根据权利要求1所述的用于证件文档类图像篡改的检测方法， 其特征在于， 所述步骤 S3中基于ScSE  U‑Net网络以及孪生网络进行训练具体包括： 基于孪生网络在网络输入部分实例化两结构相同参数不共享的编码块， 分别编码一 次 篡改图像和二次篡改图像； 将特征图相加， 并经过解码块输出， 每个解码块后接scSE模块， 其中， 所述编码块、 所述 解码块和瓶颈层为基于U ‑net的网络结构。 6.根据权利要求5所述的用于证件文档类图像篡改的检测方法， 其特征在于， 所述编码 块采用在Resnet基础上增 加了SE Block的Se‑Resnet50特征提取网络 。 7.根据权利要求5所述的用于证件文档类图像篡改的检测方法， 其特征在于， 在上采样 过程中将特征按通道维度进行拼接， 并且在上采样过程中增加了所述scSE模块， 得到特征 映射为 其中， cSE模块通过压缩空间信息， 来获得衡量通道重要性的指 标， sSE模块 通过压缩通道信息， 来获得衡量空间位置 重要性的指标。 8.一种计算机可读存储介质， 其上存储有一或多个计算机程序， 其特征在于， 该一或多 个计算机程序被 计算机处 理器执行时实施权利要求1至7任一项所述的方法。 9.一种用于证件文档类图像篡改的检测系统， 其特 征在于， 所述系统包括：权　利　要　求　书 1/2 页 2 CN 114419633 A 2图像处理单元， 配置用于对原始图像进行第一次篡改和后处理， 在所述第一次篡改和 后处理的基础上进行第二次篡改和后处理获得篡改图像， 其中篡改包括同图复制、 异图拼 接、 去除像素、 其他像素填充和 字符生成， 所述后处理包括加入高斯模糊、 JPEG压缩和加入 噪声； 差异性比较单元， 配置用于利用结构相似性算法从亮度、 对比度和结构分别比较所述 原始图像和所述篡改图像的灰度图的差异 性， 获得伪造区域掩膜图， 其中， 所述伪造区域掩 膜图中无差异位置像素点 为黑色， 差异位置像素点 为白色； 训练模型获取单元： 配置用于将所述篡改图像和所述伪造区域掩膜图输入基于ScSE   U‑Net网络以及孪生网络进行训练获得检测模型； 检测单元： 配置用于利用所述检测模型对待检测图像进行推理， 获得 预测的掩膜图像。 10.根据权利要求9所述的用于证件文档类图像篡改的检测系统， 其特征在于， 结构相 似性算法通过以下公式表征相似性： 其中uX、 uY分布表示图像X和Y的均值， σX、 σY分别表示图像X和Y的标准差， σXY表示图像X 和Y的协方差， C1、 C2、 C3为常数， 结构相似性算法SSIM指数为SSIM(X,Y)＝L(x,y)*C(X,Y)*S (X,Y)。 11.根据权利要求9所述的用于证件文档类图像篡改的检测系统， 其特征在于， 基于 ScSE U‑Net网络以及孪生网络进行训练具体包括： 基于孪生网络在网络输入部 分实例化两 结构相同参数不共享的编 码块， 分别编 码一次篡改图像和二次篡改图像； 将特征图相加， 并 经过解码块输出， 每个解码块后接scSE模块， 其中， 所述编码块、 所述解码块和瓶颈层为基 于U‑net的网络结构。 12.根据权利要求11所述的用于证件文档类图像篡改的检测系统， 其特征在于， 所述编 码块采用在Resnet基础上增 加了SE Block的Se‑Resnet50特征提取网络 。 13.根据权利要求11所述的用于证件文档类图像篡改的检测系统， 其特征在于， 在上采 样过程中将特征按通道维度进行拼接， 并且在上采样过程中增加了所述scSE模块， 得到特 征映射为 其中， cSE模块通过压缩空间信息， 来获得衡量通道重要性的 指标， sSE模块 通过压缩通道信息， 来获得衡量空间位置 重要性的指标。权　利　要　求　书 2/2 页 3 CN 114419633 A 3