ICS35.240 CCS L67 YD 中华人民共和国通信行业标准 YD/T XXXXXXXXX 人工智能开发平台通用能力要求 第4部分：大模型开发应用 The general requirements for artificial intelligence development platform Part 4: Development and application of large-scale model （报批稿） XXXX - XX - XX 发布 XXXX-XX-XX实施 中华人民共和国工业和信息化部 发布 XXxX—XXXxX1/0A 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件是YD/T4392《人工智能开发平台通用能力要求》系列标准的第4部分，YD/T4392已经 发布了以下部分： 第1部分：功能要求 本文件是《人工智能开发平台通用能力要求》系列标准的第4部分。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、北京百度网讯科技有限公司、腾讯云计算（北京）有限责 任公司、中国移动通信集团有限公司、中国联合网络通信集团有限公司、天翼电子商务有限公司、亚信 科技（中国）有限公司、蚂蚁科技集团股份有限公司、广电运通集团股份有限公司、北京九章云极科技 有限公司、阿里云计算有限公司、北京世纪好未来教育科技有限公司、浪潮电子信息产业股份有限公司、 中兴通讯股份有限公司、中国电信集团有限公司、上海商汤智能科技有限公司、上海燃原科技股份有限 公司、OPPO广东移动通信有限公司、杭州海康威视数字技术股份有限公司、新讯数字科技（杭州）有 限公司、华为技术有限公司、南京新一代人工智能研究院。 本文件主要起草人：宇文梦柯、张玮婷、曹峰、董昊、靳伟、陶阳宇、黄超、聂锦燃、樊利安、谢 巍盛、陈丹、路明奎、郭永震、张燚钧、杨旭、卢佳楠、孙进、周海清、刘子韬、王鹏飞、袁丽雅、吴 承霖、龚睿昊、王思善、李根、刘晴、张辉、朱江、黄炳、韩冰、郭熹、经琴、寿文卉、张诗雨、徐小 龙、丁欣卉、靳震、丁怡心、刘星辰、曹晓峰、龚柳婷、王锦海、桑海岩、林义闽、刘波、郭智慧、曹 予飞、曹晓琦。 IHI XXXX—XXXXX 1/O 引言 近年来，随着大模型技术与经验的不断累积，该方向也逐渐从聚焦技术突破，到关注全流程工程化 落地。人工智能通用开发平台包含数据处理、模型开发、部署服务、应用运维几个主要环节，大模型开 发平台在此基础上还涉及复杂的算法与工程步骤：大规模数据的处理、巨量模型参数的训练更新、提示 工程的引入、模型开发的稳定与兼容等。大模型开发平台主要提供针对大模型落地的全流程服务，能够 满足算法工程师、数据科学家、行业专家等不同开发者的使用需求，有效推进人工智能赋能各行各业。 YD/TXXX《人工智能开发平台通用能力要求》规定了人工智能开发平台在大模型场景下开发及 应用全生命周期能力要求。 人工智能开发平台通用能力要求系列标准拟由以下部分组成 第1部分：功能要求。目的在于为人工智能开发平台功能能力的构建、选型等工作提供参考。 一一第2部分：安全要求。目的在于为人工智能开发平台安全能力的构建、选型等工作提供参考。 一一第3部分：性能要求。目的在于为人工智能开发平台性能能力的构建、选型等工作提供参考： 一第4部分：大模型开发应用。目的在于为人工智能开发平台在大模型开发应用场景下，所需功 能能力的构建、选型等工作提供参考。 IV XXxX—XXXxX1/0A 人工智能开发平台通用能力要求 第4部分：大模型开发应用 1范围 本文件规定了人工智能开发平台的大模型开发应用能力要求，主要包括数据处理、模型构建、部署 与推理、支撑与服务等核心环节的能力要求。 本文件适用于为使用人工智能开发平台进行大模型开发及应用的机构提供功能参考。 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T41867-2022信息技术人工智能术语 3术语和定义 GB/T41867-2022界定的以及下列术语和定义适用于本文件。 3. 1 人工智能artificialintelligence 人工智能系统相关机制和应用的研究和开发。 [来源：GB/T41867-2022，3.1.2] 3. 2 深度学习deeplearning 通过训练具有许多隐层的神经网络来创建丰富层次表示的方法。 [来源：GB/T41867-2022，3.2.27] 3. 3 微调fine-tuning 为提升人工智能模型的预测精确度，一种先以大型广泛领域数据集训练，再以小型专门领域数据集 继续训练的附加训练技术。 [来源：GB/T41867-2022，3.2.31] 3. 4 大规模预训练模型large-scalepre-trainedmodel 种参数规模较大的预训练模型，通过自监督或者无监督技术从海量的通用数据中训练得到基础模 型，并结合下游具体任务对其进行微调，最终被训练成具有逻辑推理和分析能力的人工智能模型。 3.5 模型评估modelevaluation 通过既定的各类AI任务评估指标，对训练生成的模型进行质量评判。 1 YD/TXXXXX—XXXX 3. 6 模型量化modelquantization 将神经网络中的高精度浮点数转换为低精度数，以减少神经网络模型的大小和内存占用的技术。 3.7 模型蒸馏modeldistillation 将体量大的模型的知识压缩从而减少模型规模的一种方法。 4缩略语 下列缩略语适用于本文件。 AI：人工智能（ArtificialIntelligence） API：应用程序接（ApplicationProgrammingInterface） LoRA：低秩适应（Low-RankAdaptation） MoE：混合专家（MixtureofExperts） RLHF：基于人类反馈的强化学习（ReinforcementLearningfromHumanFeedback） 5概述 人工智能开发平台所需的大模型技术包含数据处理、模型构建、部署与推理、支撑与服务等核心环 节，整体框架如图1所示，四个核心环节的主要作用如下： 数据处理部分通过数据接入、数据预处理等步骤，将数据转换为模型训练、模型服务可用的输入， 并可进行数据分析和数据管理等操作 模型构建部分支持模型的开发、训练微调和评估，通过提供针对文本、图像、音频、视频、多模态 类型数据的预置模型，以及配套开发工具， 帮助各类用户快速训练出与场景匹配的模型。 部署与推理部分支持模型的管理、 部署、推理和提示工程，保证模型可以部署、迁移到不同业务所 需的各类环境中，以最高效率利用资源， 为业务系统提供强大支持。 支撑与服务部分为平台提供基础的运营、维护、管理等能力。一方面提供计算、存储等物理资源的 管理调度，以及AI资产的管理支持； 一方面提供平台层的对外交互与运维保障。 数据处理 模型构建 部署与推理 模型预训练与微调 模型评估 模型管理 数据接入 模型预训练 模型部署 评估指标 模型推理 模型压缩 服务管理 数据预处理 模型微调 评估方式 部署策略 推理优化 数据集构造 部署方式 服务编排 模型开发 提示工程 数据集管理 分布式训练 训练稳定性 训练优化 提示词构造提示词管理提示词优化 支撑与服务 资源管理 监控告警 平台扩展 图1人工智能开发平台大模型开发应用功能框架 2 XXxX—XXXxX1/0 6数据处理 6.1数据接入 数据接入指数据通过不同方式接入到平台的过程，以及接入过程中的选择、过滤等操作，包括：数 据接入方式、接入过程操作、接入数据类型等。 a）支持多种数据接入方式： 1）应支持基于多种数据来源进行接入，如：平台预置数据、第三方平台数据等； 2）应支持数据的本地上传、通过API等接口接入。 b) 支持数据接入过程中的选择、过滤、断点处理： 1) 宜支持数据的增量接入，以减少接入过程开销，如：对已有数据进行追加； 2) 宜支持数据接入时的过滤选择，如：接入满足指定条件的数据； 3) 宜支持数据接入时的断点处理，如：数据接入过程中的断点续传 支持多种模态、类型、格式数据的接入： c) 1)/ 应支持文本、图像、音频、视频至少一种模态类型数据的接入； 应支持对应模态下至少两种格式数据的接入，如：txt、Json、XML等文本格式，png、jpg 2) 等图片格式，mp3、wav等音频格式，mp4、avi等视频格式； 3）/ 应支持压缩包格式数据，如：zip等。 d）支持数据接入流程的自动化、自定义： 1): 宜支持识别、接入、解析自定义格式的数据，如：通过脚本进行识别、解析： 2) 宜支持数据接入的自动化流程搭建，如：通过自动化工具、流水线编排实现数据接入流程 的自动构建、运行等。 e）宜支持周期性数据接入，如：按照设置的时间间隔定期接入数据 f）宜支持数据的实时接入，如：推理服务时进行数据的实时接入。 6.2数据预处理 数据预处理指原始数据结合场景需求进行不同预处理操作，包含：基本预处理操作、数据增强等。 a）应支持清洗、缺失值处理、去重、去毒、脱敏、过滤等至少三种基本数据预处理操作： 1）支持对数据的清洗操作，如：去除特异字符等； 2) 支持对缺失数据的处理操作，如：缺失值填充等 3） 支持对数据的去重操作，