(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210643314.8 (22)申请日 2022.06.09 (71)申请人 浙江工商大 学 地址 310018 浙江省杭州市下沙高教园区 学正街18号 (72)发明人 陈梦轩　邵俊　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 陈洁 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于图像预处 理的对抗样本防御方法 (57)摘要 本发明属于人工智能安全技术领域， 公开了 一种基于图像预处理的对抗样 本防御方法， 包括 步骤1： 构建防御模型AGD； 所述防御模型AGD 共有 17层网络， 由三大模块构成， 其中， 前 12层网络为 扩张卷积模块， 中间四层网络为特征增强模块， 最后一层网络为注意力模块； 步骤2： 构建图像重 建模型； 基于超分辨率 设计图像重建模型， 对AGD 防御模型处理后的样本进行重建； 步骤3： 构建防 御框架SR ‑AGD； 结合AGD防御模型和图像重建模 型的特点， 构建防御框架SR ‑AGD。 本发明提出的 基于图像预处理的防御技术SR ‑AGD有效解决了 已有类似防御方法中存在的对抗扰动去除不完 全、 影响正常样本分类等缺陷， 起到了良好的防 御对抗攻击的效果。 权利要求书2页 说明书6页 附图1页 CN 115019097 A 2022.09.06 CN 115019097 A 1.一种基于图像预处 理的对抗样本防御方法， 其特 征在于， 包括如下步骤： 步骤1： 构建防御模型AGD； 所述 防御模型AGD共有17层网络， 由三大模块构成， 其中， 前 12层网络为扩张卷积模块， 中间四层网络为特 征增强模块， 最后一层网络为注意力模块； 步骤2： 构建图像重建模型； 基于超分辨率设计图像重建模型， 对AGD防御模型处理后的 样本进行重建， 减轻AGD对正常样本产生的影响； 步骤3： 构建防御框架SR ‑AGD； 结合AGD防御模型和图像重建模型的特点， 构 建防御框架 SR‑AGD， 实现对 对抗攻击的防御效果。 2.根据权利要求1所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 1在扩张卷积模块中， 通过将第2层、 第5层、 第9层以及第12层的卷积层由普通卷积改为扩张 卷积， 达到增大感受野来映射图像中更多的上下文信息， 从而有助于获取到更多的对抗扰 动特征， 公式(1)对扩张卷积模块的过程进行了表示， 其中x*代表输入的对抗样本， fDC代表 扩张卷积模块实现的作用， ODC代表扩张卷积模块的输出， ODC＝fDC(x*)。    (1) 3.根据权利要求1所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 1在特征增强模块中， 将输入的对抗样本特征与第16层网络所输出的特征进行融合， 公式 (2)对特征增强模块的过程进 行了表示， 其中x*代表输入的对抗样 本， ODC代表扩张卷积模块 的输出， fFE代表特征增强模块实现的作用， OFE代表扩张卷积模块的输出， OFE＝fFE(x*， ODC)。    (2) 4.根据权利要求1所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 1在最后一层网络上加入了CBAM注意力模块来进行注意力机制的实现； CBAM注意力机制 主 要包括两部 分， 分别为通道注 意力和空间注意力， 注意力模块利用通道与空间这两个维度， 对AGD防御模 型中的中间特征图分别采用两个独立的注 意力机制来得到权重系数， 公式(3) 表示了注意力模块的处理过程， 其中OFE代表特征增强模块的输出， 也 是注意力模块的输入， fAB代表注意力模块实现的作用， 代表注意力模块的输出， 即对抗扰动信息的残差图像， 5.根据权利要求1所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 1在AGD防御模型损失函数的设计中， 将 扰动去除前后图像在目标模 型高层网络中输出结果 之间的差异作为损失函数， 如公式(4)所示， 其中， 代表经AGD处理去除了对抗扰动 的图 像， x代表原始图像， Fl代表目标模型中第l层网络的输出 结果， ||·||代表L1范数， 6.根据权利要求1所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 2的图像重 建模型由三个模块组成， 分别是特征提取模块、 多尺度特征融合模块以及亚像素 重建模块。 7.根据权利要求6所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 2在特征提取模块， 对AGD处理后的图像进行初始特征的提取， 作为后续模块的输入， 利用了 一个1×1的卷积提取AGD防御模型处 理后图像的初始特 征， 该过程用公式(5)表示， 权　利　要　求　书 1/2 页 2 CN 115019097 A 2其中， 代表输入的低分辨率图像， 即AGD防御模型处理后得到的图像， FE代表卷积核大 小为1×1的卷积层对 特征的提取 过程， OE代表提取初始特 征后得到的特 征图。 8.根据权利要求6所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 2在多尺度特征融合模块， 采用多个大小不同的卷积核对初始特征进 行卷积操作， 以提取不 同维度的特征信息， 并利用特征级联实现对多尺度特征 的融合， 提高模型获取到的图像特 征的丰富度， 多尺度特征融合模块增加了网络的宽度， 能够提取到不同维度的特征信息， 并 使这些特征信息得到充分利用， 该 过程可用公式(6)表示， OM＝FM(OE)，   (6) 其中， OE代表特征提取模块提取的初始特征， FM代表多尺度特征融合模块的作用， OM代 表经过多尺度特征融合后得到的新特征信息， 在多尺度特征融合模块， 包含三种不同尺度 的卷积核， 卷积核的大小分别为3 ×3、 5×5和7×7， 使用不同尺寸的卷积核， 获取输入图像 不同区域大小的特征信息， 来提高特征 的丰富度， 同时， 利用残差融合的方式， 避免特征信 息在网络传递中的丢失， 保证每层网络提取到的特征信息都能被充分利用， 此外， 将不同尺 度卷积核所提取的多个特 征进行级联融合后， 采用一个大小为1 ×1的卷积进行降维处 理。 9.根据权利要求6所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步骤 2的亚像素重 建模块， 在亚像素重 建前， 将多尺度特征融合模块所得到的高级 特征与低分辨 率图像中的低级特征进行残差融合， 之后， 亚像素重建模块对融合后的特征进行亚像素卷 积操作， 重建高分辨率图像， 该模块可用公式(7)表示， 其中x ′代表经图像重建模型重建后 的图像， x′＝FS(OE， OM)，   (7) 在图像重建模型的训练过程中， 采用像素级 的均方误差MSE来作为损失函数， 将AGD防 御模型处理后的样本输入到图像重建模型中， 输出的重建后图像需与原始图像尽可能相 似， 因此， 图像重建模型的训练目标就是最小化重 建后样本与原始图像之 间的差异， 损失函 数可用公式(8)表示， 其中， 代表参数集， 代表图像重建模型的输出， || ·||代表L2范数， 在训练过程中， 使用随机梯度下降法来优化损失函数。 10.根据权利要求1所述的基于图像预处理的对抗样本防御方法， 其特征在于， 所述步 骤3将对抗样 本直接输入到SR ‑AGD防御框架中， 首先利用AGD防御模 型去除对抗样 本中的对 抗扰动， 得到处理后的样本， 然后将其送入图像重 建模型进 行处理， 在图像重建模型的重建 过程中， 进一 步去除了残余的对抗扰动， 最终 实现对对抗攻击的防御效果。权　利　要　求　书 2/2 页 3 CN 115019097 A 3