ICS 35.020 CCS SAIAS L70 2024-08- 31发布 2024-09- 01 实施 上海市人工智能行业协会 发布 T/SAIA S 001—2024 神经网络分类模型鲁棒性测试方法 Test methods for robustness of neural network classification models 上海市人工智能行业协会 团体标准 全国团体标准信息平台 T/SAIAS 001—2024 I 目 次 前 言 ................................ ................................ ............ II 1 范围 ................................ ................................ ............... 1 2 规范性引用文件 ................................ ................................ ..... 1 3 术语和定义 ................................ ................................ ......... 1 4 神经网络分类模型鲁棒性需考虑因素 ................................ ................... 1 4.1 模型研发和训练阶段 ................................ ............................. 2 4.2 模型使用阶段 ................................ ................................ ... 2 5 测试方法 ................................ ................................ ........... 2 5.1 概述 ................................ ................................ ........... 2 5.2 基本原则 ................................ ................................ ....... 2 5.3 对抗攻击测试方法 ................................ ............................... 2 5.4 中毒攻击测试方法 ................................ ............................... 4 5.5 后门攻击测试方法 ................................ ............................... 5 5.6 基本指标与测试报告 ................................ ............................. 7 附 录 A （资料性） 神经网络分类模型鲁棒性攻击 /干扰方法 ............................. 8 A.1 对抗攻击方法 ................................ ................................ ..... 8 A.2 中毒攻击方法 ................................ ................................ ..... 8 A.3 后门攻击方法 ................................ ................................ ..... 8 附 录 B （资料性） 神经网络分类模型测试报告模板示例 ................................ 9 参 考 文 献 ................................ ................................ ......... 13 全国团体标准信息平台 T/SAIAS 001—2024 II 前 言 本文件按照 GB/T 1.1 —2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起 草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由上海市人工智能行业协会提出并归口。 本文件起草单位：上海华东电信研究院、京东科技信息技术有限公司、蚂蚁智安安全技术（上海） 有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之 神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中 电金信数字科技集团有限公司、 蚂蚁云科技集团股份有限公司、 中国电子科技集团公司第三十二研究所、 上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集 团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新 院有限公司、联通（上海）产 业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务 所、东方财富信息股份有限公司。 本文件主要起草人：彭莉、常永波、陈俊琰、刘项杨、崔世文、孟昌华、陈曦、张正敏、谢永康、 曹东、瞿晶晶、白磊、吴庚、余佳、况文川、杨清、谢恽、谢军、张宇军、龙刚、林娇娇、魏丹、李晓 强、刘华、孔杰、高永志、何之栋、杜渂、牛红星、夏禹、刘津恺、堵炜炜、胡超、虞祝豪、王骏翔、 杨文恺、郭汉杰、蔡旻、旭东、刘志毅、张恺。 首期承诺执行单位： 上海华东电信研究院、 京东科技信息技术有限公司、 蚂蚁智安安全技术 （上海） 有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之 神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中 电金信数字科技集团有限公司、 蚂蚁云科技集团股份有限公司、 中国电子科技集团公司第三十二研究所、 上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集 团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新院有限公司、联通 （上海）产 业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务 所、东方财富信息股份有限公司。 全国团体标准信息平台 T/SAIAS 001—2024 1 神经网络分类模型鲁棒性测试方法 1 范围 本文件提出了神经网络分类模型鲁棒性需考虑的因素，并提供了神经网络分类模型鲁棒性测试方 法。 本文件适用于神经网络分类模型鲁棒性测试评估系统。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中， 注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 41867 -2022 信息技术 人工智能 术语 3 术语和定义 GB/T 41867 -2022界定的以及下列术语和定义适用于本文件。 3.1 神经网络分类模型 neural network classification model 向给定的神经网络输入数据，输出其所属的一个或多个类别的机器学习模型 。 3.2 神经网络分类模型鲁棒性 robustness of neural network classification model 神经网络分类模型在输入数据受到攻击或干扰等情况下保持其性能水平的特性，通常通过抵抗攻 击或干扰的成功率进行衡量。 3.3 对抗攻击 adversarial attack 通过设计向原始测试样本添加一些不易察觉的噪声 /扰动从而让神经网络分类模型做出误判的攻击 方式。 3.4 中毒攻击 poisoning attack 通过向神经网络分类模型的训练数据投放特定设计的污染数据，从而影响神经网络分类模型判断 能力使得模型中毒 的攻击方式。 3.5 后门攻击 backdoor attack 在神经网络分类模型训练阶段通过某种方式对模型植入后门，从而导致模型将精心设计的含有后 门触发条件的样本识别成特定类型的攻击方式。 4 神经网络分类模型鲁棒性需考虑因素 全国团体标准信息平台