ICS35.240 CCS L67 YD 中华人民共和国通信行业标准 YD/T XXXXXXXX 人工智能开发平台通用能力要求第2部分：安 全要求 The general requirements for artificial intelligence development platform- Part 2:Safety requirements （报批稿） XXXX - XX - XX 发布 XXXX- XX - XX 实施 中华人民共和国工业和信息化部 发布 YD/T XXXX—XXXX 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起 草。 本文件是YD/TXXX《人工智能开发平台通用能力要求》系列标准的第2部分，YD/TXXX已经发布 了以下部分： 第1部分：功能要求。 本文件是《人工智能开发平台通用能力要求》系列标准的第2部分。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、杭州海康威视数字技术股份有限公司、华为技术有限公司、 蚂蚁科技集团股份有限公司、翼健（上海）信息科技有限公司、上海商汤智能科技有限公司、新讯数字 科技（杭州）有限公司、中国工商银行股份有限公司、江苏泰治科技股份有限公司、北京九章云极科技 有限公司、浙江大华技术股份有限公司、美的集团（上海）有限公司、马上消费金融股份有限公司、上 海隧原科技股份有限公司、北京百度网讯科技有限公司、浪潮电子信息产业股份有限公司、京东方科技 集团股份有限公司、星环信息科技（上海）股份有限公司、小视科技（江苏）股份有限公司、北京希尔 贝壳科技有限公司、中国移动通信集团有限公司、北京霍因科技有限公司、北京浩瀚深度信息技术股份 有限公司、中国电信集团有限公司、南京新一代人工智能研究院。 本文件主要起草人：董昊、曹晓峰、丁欣卉、曹峰、马良、张淼、付大鹏、周海清、唐苗、何应钦、 叶恺、张霖涛、徐浩、曹予飞、黄炳、王清臣、章良君、王海靖、黄海、罗震、成瑾、吴立、张波、刘 志强、丁怡心、靳震、宇文梦柯、刘星辰、龚柳婷、张玮婷、罗元帅、刘霄、庞韶敏、刘晴、赵磊。 YD/T XXXX—XXXX 引言 近年来，人工智能技术产业快速发展，各类人工智能开发平台也不断发展壮大，并被大量企业使用。 人工智能开发平台既是连接产业上下游的重要枢纽，也是人工智能新基建的重要组成。此类平台主要提 供传统机器学习和深度学习开发、部署、应用、运维的全流程服务，能够满足算法工程师、数据科学家、 行业专家等不同类型开发者的使用需求，有效推进人工智能赋能各行各业。 目前，人工智能开发平台还处在发展初期，在主要功能层面已达成一定程度的产业共识，但是在功 能全面性、性能稳定性、标准一致性等方面仍有待改善和规范，为了引导产业有序发展、规范行业自律， 并为用户提供选型参考，特联合相关单位开展人工智能开发平台标准规范的编制工作。YDTXXX《人 工智能开发平台通用能力要求》规定了人工智能开发平台在功能、安全、性能、大模型技术的能力要求， 规范人工智能开发平台的评估方法。 人工智能开发平台通用能力要求系列标准拟由以下部分组成。 一第1部分：功能要求。目的在于为人工智能开发平台功能能力的评估、验收等工作提供参考， 确保相关产品、服务或系统在设计、开发、生产和应用过程中能够按照统一的功能分类和要求进行，以 提高其效能、互操作性和可持续性。 一一第2部分：安全要求。目的在于为人工智能开发平台安全能力的评估、验收等工作提供参考， 确保产品、服务或系统在正常和异常情况下都能保持安全稳定，防止事故发生。 一一第3部分：性能要求。目的在于为人工智能开发平台性能能力的评估、验收等工作提供参考， 确保产品、系统或服务在特定条件下能够达到预期的性能水平，以满足用户的需求和期望，同时提高整 体的质量、可靠性和效率。 一一第4部分：大模型技术要求。目的在于为人工智能开发平台大模型开发和应用能力的评估、验 收等工作提供参考，统一和规范大模型的研发、应用和管理，确保其性能稳定、可靠、高效，并推动大 模型技术的创新与发展， 本文件是“人工智能开发平台通用能力要求”系列文件第2部分：安全要求，是为人工智能开发平 台产品的研发者和选型者提供评估参考规范。 II YD/T XXXX—XXXX 人工智能开发平台通用能力要求 第2部分：安全要求 1范围 本文件规范了人工智能开发平台的安全要求，主要包括数据处理、算法与模型、部署与服务、运维 管理等核心环节的安全要求。 本文件适用于指导人工智能开发平台的安全模块开发等相关工作。 规范性引用文件 2 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T5271.28-2001信息技术词汇第28部分：人工智能基本概念与专家系统 GB/T37988-2019信息安全技术数据安全能力成熟度模型 GB/T41867-2022信息技术人工智能术语 3术语 下列术语和定义适用于本文件。 3. 1 人工智能 artificial intelligence;AI 人工智能系统相关机制和应用的研究和开发。 [来源：GB/T41867-2022，3.1.2] 3. 2 机器学习machinelearning 通过计算技术优化模型参数的过程，使模型的行为反映数据或经验。 [来源：GB/T41867-2022，3.1.2] 3. 3 对抗样本adversarialexample 在原始样本中添加一些微小扰动，使模型推理时做出错误推理的样本。 3. 4 敏感数据sensitivedata 在披露或误用的情况下可能会产生潜在有害影响的数据。 3.5 YD/T XXXX—XXXX 数据脱敏datadesensitization 通过一系列数据处理方法对原始数据进行处理以屏蔽敏感数据的一种数据保护方法。 [来源：GB/T37988-2019，3.12] 3. 6 鲁棒性robustness <人工智能>系统在任何情况下都能保持其性能水平的特性。 [来源：GB/T41867-2022，3.1.2] 3.7 数据投毒datapoisoning 将经过设计的重度样本添加到模型的训练数据集中，通过训练或者微调过程使模型中毒。 4缩略语 下列缩略语适用于本文件。 Al：人工智能（ArtificialIntelligence） CRC：循环穴余校验（CyclicRedundancyCheck） HTTP：超文本传输协议（HypertextTransferProtocol） HTTPS：超文本传输安全协议（HypertextTransferProtocolSecureSoft） IP：互联网协议地址（InternetProtocolAddress） 5概述 本文件分为4个核心环节如图1所示，分别是数据处理安全、算法与模型开发安全、部署与服务安全 和运维管理安全，各环节在总体架构中的作用如下： 人工智能开发平台通过数据处理部分实现A能力应用所需数据的接入与预处理，以保证不同类型 与质量的数据被合理预处理以进行后续环节的实现。该部分围绕数据的接入、预处理及标注、存储和管 理设定安全要求。 人工智能开发平台通过算法与模型部分实现不同类型AI能力构建的完整方案和已有完整能力的供 应，以保证行业用户特定要求的满足。该部分围绕模型的鲁棒性加固、安全性加固与模型安全设定安全 要求。 人工智能开发平台通过部署与服务部分向用户提供AI能力的验证、部署指导、部署支撑和调用管 理等。该部分围绕模型部署与模型服务中的潜在风险设定安全要求。 人工智能开发平台通过安全和运维管理支撑部分支撑平台自身的功能运维管理和系统安全，该部分 围绕身份认证、编码、通信、权限、监控告警、响应恢复和日志设定安全要求。 YD/T XXXX—XXXX 数据处理安全 算法与模型安全 部署与服务安全 数据接入安全 数据预处理及标注 鲁棒性评估加固 模型部署安全 安全 安全性评估与加固 数据存储安全 模型服务安全 模型文件安全 数据管理安全 运维管理安全 身份认证安全 通信安全 响应恢复 输入安全 权限安全 日志安全 图1人工智能开发平台通用能力要求：安全要求框架 6人工智能开发平台安全要求 6.1数据处理安全 6.1.1数据接入安全 数据接入安全主要是为了保障数据接入过程、接入数据的安全。该能力项可设置但不限于以下考察 面：接入过程安全、接入数据安全等。 a）应支持对数据采集源进行安全管控，如支持添加黑名单、白名单，以防止恶意接入； b）应支持数据源连接账号的安全保护，防止攻击者通过数据源连接配置信息获取账号、密码的明 文信息； c）宜支持对接入的数据按需进行加密，接入后需要处理时可进行解密； d）宜支持对接入的数据报文加签验签，保障数据接入过程中的完整性和真实性； e）宜支持对接入的数据进行流量监控，防止网络IO、磁盘存储异常； f）宜支持参考数据安全标准对接入的数据进行分类分级标记，以便后续流程可以根据不同的安全 等级制定不同的安全策略； g）宜支持定义非法数据内容，接入程序可以根据定义自动过滤非法数据，保障接入数据的合法性； h）宜支持对接入的数据进行攻击样本检测。 6.1.2数据预处理及标注安全 数据预处理及标注安全主要是为了保障数据预处理、数据标注环节涉及到的安全风险。该能力项可 设置但不限于以下考察面：数据预处理安全、数据