(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210329422.8 (22)申请日 2022.03.31 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 徐世友　张轩铭　胡俊　陈曾平　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于数据混合的深度学习模型样本处理方 法、 训练方法、 装置和存 储介质 (57)摘要 本发明公开了一种基于数据混合的深度学 习模型样本处理方法、 训练方法、 装置和存储介 质， 深度学习模 型样本处理方法包括获取原始输 入图像、 标签信息和多个攻击算法， 使用攻击算 法对原始输入图像进行攻击获得对抗样本， 对对 抗样本进行软化获得软化样本， 对 各软化样本进 行融合获得融合样本， 对 标签信息进行软化获得 软化标签等步骤。 本发明处理得到的融合样本集 成了混合类型的攻击或者其他新类型的攻击等 多样化的攻击， 使用融合样本训练得到的深度学 习模型具有更 强的鲁棒性和更平滑， 在实际使用 时能够适应复杂的攻击环境， 有利于在保持原先 准确率基本不变的情况下， 更好地防御和抵抗攻 击， 从而提高安全性。 本发明广泛应用于深度学 习技术领域。 权利要求书2页 说明书7页 附图4页 CN 114742232 A 2022.07.12 CN 114742232 A 1.一种基于数据混合的深度学习模型样本处理方法， 其特征在于， 所述基于数据混合 的深度学习模型样本处 理方法包括： 获取原始输入图像以及相应的标签信息； 选择多个攻击算法； 分别使用各所述攻击算法对所述原始输入图像进行攻击， 获得多个对抗样本； 其中， 每 个所述攻击算法对所述原 始输入图像进行的攻击， 获得一个所述对抗样本； 分别对各所述对抗样本进行软化， 获得多个软化样本； 其中， 对一个所述对抗样本进行 软化， 获得一个所述软化样本； 对各所述软化样本进行融合， 获得融合样本； 对所述标签信息进行 软化， 获得 软化标签。 2.根据权利要求1所述的基于数据混合的深度 学习模型样本处理方法， 其特征在于， 所 述选择多个攻击算法， 包括： 获取攻击算法集 合； 所述攻击算法集 合中包括多个不同的攻击算法； 从所述攻击算法集 合中随机 选择出至少两个所述 攻击算法。 3.根据权利要求2所述的基于数据混合的深度 学习模型样本处理方法， 其特征在于， 所 述基于数据混合的深度学习模型样本处 理方法， 还 包括： 分别获取 所述原始输入图像与各 所述对抗样本之间的相似度； 设定相似度阈值； 对于对应相似度小于所述相似度阈值的所述对抗样本， 确定所述对抗样本对应的所述 攻击算法； 对所确定的所述攻击算法进行算法参数调整， 或者将所确定的所述攻击算法从所述攻 击算法集 合中移除。 4.根据权利要求1所述的基于数据混合的深度 学习模型样本处理方法， 其特征在于， 所 述分别对各 所述对抗样本进行 软化， 获得多个软化样本， 包括： 分别将各所述对抗样本与所述原始输入图像进行混合， 获得多个所述软化样本； 其中， 将一个所述对抗样本与所述原 始输入图像进行混合， 获得相应一个所述软化样本 。 5.根据权利要求1所述的基于数据混合的深度 学习模型样本处理方法， 其特征在于， 所 述对所述标签信息进行 软化， 获得 软化标签， 包括： 确定所述标签信息中的正确类别和非正确类别； 削弱所述 正确类别的置信度； 将所述正确类别被削弱的置信度分散 到非正确类别上。 6.根据权利要求1所述的基于数据混合的深度 学习模型样本处理方法， 其特征在于， 所 述对各所述软化样本进行融合， 获得融合样本， 包括： 获取融合 算法集合； 所述融合 算法集合中包括多个不同的融合 算法； 从所述融合 算法集合中随机 选择出一个所述融合 算法； 使用选择 出的所述融合 算法， 将各 所述软化样本融合成为所述融合样本 。 7.一种基于数据混合的深度学习模型训练方法， 其特征在于， 所述基于数据混合的深 度学习模型训练方法包括： 获取深度学习模型；权　利　要　求　书 1/2 页 2 CN 114742232 A 2使用融合样本和软化标签对所述深度 学习模型进行训练； 所述融合样本和所述软化标 签通过执行权利要求1 ‑6任一项所述的基于数据混合的深度学习模型样本处 理方法获得。 8.根据权利要求7所述的基于数据混合的深度 学习模型训练方法， 其特征在于， 所述使 用融合样本和软化标签对所述深度学习模型进行训练， 包括： 将所述融合样本输入至所述深度学习 模型， 使所述深度 学习模型对所述融合样本进行 处理； 获取所述深度学习模型的实际输出 结果； 根据所述实际输出 结果与所述软化标签， 确定损失函数值； 根据所述损 失函数值， 调整所述深度学习模型的参数， 或者结束对所述深度学习模型 的训练。 9.一种计算机装置， 其特征在于， 包括存储器和处理器， 所述存储器用于存储至少一个 程序， 所述处理器用于加载所述至少一个程序以执行权利要求1 ‑6任一项所述的基于数据 混合的深度学习模型样本处理方法和/或权利要求7 ‑8任一项所述的基于数据混合的深度 学习模型训练方法。 10.一种存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处理器可执行 的程序在由处理器执行时用于执行权利要求 1‑6任一项所述的基于数据混合的深度学习模 型样本处 理方法和/或权利要求7 ‑8任一项所述的基于数据混合的深度学习模型训练方法。权　利　要　求　书 2/2 页 3 CN 114742232 A 3