(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111673631.6 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114419346 A (43)申请公布日 2022.04.29 (73)专利权人 北京瑞莱智慧科技有限公司 地址 100084 北京市海淀区清华科技园科 技大厦A座19层 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 王艳斌 (51)Int.Cl. G06V 10/74(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 113792791 A,2021.12.14 CN 109636624 A,2019.04.16 CN 110443350 A,2019.1 1.12 WO 2021109695 A1,2021.0 6.10 CN 113222074 A,2021.08.0 6 CN 112907552 A,2021.0 6.04 CN 110222831 A,2019.09.10 CN 113361328 A,2021.09.07 US 2020380300 A1,2020.12.0 3 王科迪等.人工智能对抗环境下的模型鲁棒 性研究综述. 《信息安全学报》 .2020,(第0 3期), 孙浩 等.深度卷积神经网络图像识别模型 对抗鲁棒 性技术综述. 《雷达学报》 .2021,第571- 594页. Fuxun Yu等.I nterpreti ng and Evaluati ng Neural Netw ork Robustnes s. 《arXiv》 .2019,第1-7页. 审查员 曹宁 (54)发明名称 一种模型的鲁棒性检测方法、 装置、 设备及 介质 (57)摘要 本申请实施例涉及计算机技术领域， 并提供 一种模型的鲁棒性检测方法、 装置、 设备及介质， 该方法包括： 获取目标图像集， 目标图像集包括 至少一个对抗样本图像； 分别向待攻击的目标模 型输入至少一个对抗样本图像； 获取目标模型的 输出结果， 输出结果包括原始样 本图像与输入目 标图像集的各对抗样本图像 之间的相似度； 基于 输出结果和目标模型预设的相似度阈值， 得到目 标模型的鲁棒性检测数据； 根据鲁棒性检测数据 确定目标模 型的鲁棒性诊断结果。 该方案能够为 目标模型输出客观准确的鲁棒性诊断结果， 便于 用户快速判断目标模型在面对对抗样本的攻击 时的安全性与可靠性。 权利要求书3页 说明书11页 附图5页 CN 114419346 B 2022.09.30 CN 114419346 B 1.一种模型的鲁棒 性检测方法， 其特 征在于， 包括： 获取目标图像集， 所述目标图像集包括至少一个对抗样本图像； 分别向待攻击的目标模型输入至少一个所述对抗样本图像； 获取所述目标模型的输出结果， 所述输出结果包括原始样本图像与输入所述目标图像 集的各所述对抗样本图像之间的相似度； 基于所述输出结果和所述目标模型预设的相似度阈值， 得到所述目标模型的鲁棒性检 测数据； 根据所述鲁棒 性检测数据确定所述目标模型的鲁棒 性诊断结果； 其中， 所述获取 所述目标模型的输出 结果， 包括： 获取目标模型的计算逻辑； 从预设的历史诊断库中查找与所述目标模型的计算逻辑相匹配的历史模型； 根据所述历史模型的历史输出 结果确定所述目标模型的输出 结果。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述输出结果和所述目标模型预 设的相似度阈值， 得到所述目标模型的鲁棒 性检测数据， 包括： 如果所述输出结果包括的相似度大于所述相似度阈值， 则记录第一检测数据， 所述第 一检测数据包括以下至少一项： 错误识别结果、 识别失败记录、 攻击成功记录、 第一攻击时 长记录； 如果所述输出结果包括的相似度不大于所述相似度阈值， 则记录第二检测数据， 所述 第二检测数据包括以下至少一项： 识别成功 记录、 攻击失败记录、 第二 攻击时长记录； 将所述第一检测数据或所述第二检测数据作为本次攻击行为对应的鲁棒 性检测数据。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述鲁棒性检测数据确定所述目 标模型的鲁棒 性诊断结果， 包括： 根据至少一 次攻击行为对应的所述第 一检测数据计算所述目标模型的鲁棒性指数； 所 述鲁棒性指数包括： 识别准确率、 攻击成功率和/或攻击成功时间信息； 根据所述鲁棒 性指数计算所述目标模型的攻破 难度系数； 对所述第一检测数据、 所述第二检测数据、 所述鲁棒性指数和所述攻破难度系数中的 多项进行数据处理和可视化显示， 得到 鲁棒性诊断结果。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取第一历史诊断数据， 所述第一历史诊断数据包括多个参考模型的鲁棒性诊断数 据， 各参考模型的鲁棒性诊断数据为采用所述模型的鲁棒性检测方法或者多种模型鲁棒性 诊断工具诊断得到； 其中， 多个参 考模型是与所述目标模型类型相同、 来源不同的模型； 将所述目标模型的鲁棒 性检测数据与所述第一历史诊断数据进行横向比较。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取第二历史诊断数据， 所述第 二历史诊断数据包括多种 模型鲁棒性诊断工具对所述 目标模型诊断的鲁棒 性诊断数据； 将所述目标模型的鲁棒 性检测数据与所述第二历史诊断数据进行横向比较。 6.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在预设的靶场环境中， 基于所述模型的鲁棒性检测方法对所述目标模型进行模拟诊 断， 得到所述目标模型的鲁棒 性诊断模拟结果。权　利　要　求　书 1/3 页 2 CN 114419346 B 27.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 响应于用户针对自定义诊断的上传操作， 获取用户上传的待攻击的目标模型和目标图 像集， 以及， 从所述 目标图像集中获取作为攻击对 象的原始样本图像和 攻击所述原始样本 图像的对抗样本图像。 8.一种模型的鲁棒 性检测装置， 其特 征在于， 包括： 输入输出模块， 用于获取目标图像集， 所述目标图像集包括至少一个对抗样本图像； 处理模块， 用于分别向待攻击的目标模型输入至少一个所述对抗样本 图像； 获取所述 目标模型的输出结果， 所述输出结果包括原始样本图像与输入所述目标图像集的各所述对 抗样本图像之间的相似度； 基于所述输出结果和所述 目标模型预设的相似度阈值， 得到所 述目标模型的鲁棒性检测数据； 根据所述鲁棒性检测数据确定所述目标模 型的鲁棒性诊断 结果； 所述处理模块具体用于； 获取目标模型的计算逻辑； 从预设的历史诊断库中查找与所述目标模型的计算逻辑相匹配的历史模型； 根据所述历史模型的历史输出 结果确定所述目标模型的输出 结果。 9.根据权利要求8所述的装置， 其特 征在于， 所述处 理模块具体用于： 如果所述输出结果包括的相似度大于所述相似度阈值， 则记录第一检测数据， 所述第 一检测数据包括以下至少一项： 错误识别结果、 识别失败记录、 攻击成功记录、 第一攻击时 长记录； 如果所述输出结果包括的相似度不大于所述相似度阈值， 则记录第二检测数据， 所述 第二检测数据包括以下至少一项： 识别成功 记录、 攻击失败记录、 第二 攻击时长记录； 将所述第一检测数据或所述第二检测数据作为本次攻击行为对应的鲁棒 性检测数据。 10.根据权利要求9所述的装置， 其特 征在于， 所述处 理模块具体用于： 根据至少一 次攻击行为对应的所述第 一检测数据计算所述目标模型的鲁棒性指数； 所 述鲁棒性指数包括： 识别准确率、 攻击成功率和/或攻击成功时间信息； 根据所述鲁棒 性指数计算所述目标模型的攻破 难度系数； 对所述第一检测数据、 所述第二检测数据、 所述鲁棒性指数和所述攻破难度系数中的 多项进行数据处理和可视化显示， 得到 鲁棒性诊断结果。 11.根据权利要求8所述的装置， 其特 征在于， 所述处 理模块还用于： 获取第一历史诊断数据， 所述第一历史诊断数据包括多个参考模型的鲁棒性诊断数 据， 各参考模型的鲁棒性诊断数据为采用所述模型的鲁棒性检测方法或者多种模型鲁棒性 诊断工具诊断得到； 其中， 多个参 考模型是与所述目标模型类型相同、 来源不同的模型； 将所述目标模型的鲁棒 性检测数据与所述第一历史诊断数据进行横向比较。 12.根据权利要求8所述的装置， 其特 征在于， 所述处 理模块还用于： 获取第二历史诊断数据， 所述第 二历史诊断数据包括多种 模型鲁棒性诊断工具对所述 目标模型诊断的鲁棒 性诊断数据； 将所述目标模型的鲁棒 性检测数据与所述第二历史诊断数据进行横向比较。 13.根据权利要求8所述的装置， 其特 征在于， 所述处 理模块还用于： 在预设的靶场环境中， 基于所述模型的鲁棒性检测方法对所述目标模型进行模拟诊权　利　要　求　书 2/3 页 3 CN 114419346 B 3