ICS 35.240 L70 团 体 标 准 T/CESA 1038—2019 信息技术 人工智能 智能助理能力等级评 估 Information technology - Artificial intelligence - Classified assessment on intelligent assistant's capabilities 2019 - 04 - 01发布 2019 - 04 - 01实施 中国电子工业标准化技术协会 发布 T/CESA 1038 —2019 I 目 次 前 言 ................................ ................................ .............. II 1 范围 ................................ ................................ ................ 1 2 术语和定义 ................................ ................................ .......... 1 3 系统框架 ................................ ................................ ............ 2 4 用例分类 ................................ ................................ ............ 3 5 能力等级划分 ................................ ................................ ........ 4 6 智能助理能力要素 ................................ ................................ ....5 7 用例与能力子项的对照关系 ................................ ............................ 7 8 能力等级评估 ................................ ................................ .......10 8.1 评估指标 ................................ ................................ .......10 8.2 评估方法 ................................ ................................ .......10 8.3 评估过程 ................................ ................................ .......10 附录A （资料性附录） 智能助理能力等级对能力子项的要求 ............................... 12 附录B （资料性附录） 智能助理能力等级评估能力子项数量统计表 ......................... 42 参 考 文 献 ................................ ................................ ........ 43 T/CESA 1038 —2019 II 前 言 本标准按照 GB/T 1.1—2009《标准化工作导则 第1部分：标准的结构和编写 》给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任 。 本标准由中国电子技术标准化研究院提出并归口。 本标准起草单位： 中国电子技术标准化研究院、杭州方得智能科技有限公司、苏州思必驰信息科技 有限公司、中国航空综合技术研究所、南京中兴新软件有限责任公司、深圳市人马互动科技有限公司、 浙江省标准化研究院、重庆中科云从科技有限公司、小米通信技术有限公司、中科博宏（北京）科技有 限公司、南京云问网络技术有限公司、浪潮软件集团有限公司、第四范式（北京）技术有限公司、浙江 大学、工业 和信息化部电子第五研究所、联想（北京）有限公司、浙江成功软件开发有限公司、上海视 问智能科技有限公司、威麟信息技术开发（上海）有限公司、中国医学科学院生物医学工程研究所、中 电莱斯信息系统有限公司、 北京京东尚科信息技术有限公司、 中国电信集团有限公司、海尔优家智能科 技（北京）有限公司、深圳前海微众银行股份有限公司、玉养信息科技（上海）有限公司、广州广电运 通金融电子股份有限公司、深圳迅策科技有限公司、上海孚恩电子科技有限公司。 本标准主要起草人： 代红、董建、张群、王燕妮、彭黔平、缪庆亮、汪小娟、马珊珊、燕伟桐、郭 侠、王洁萍、林震亚、杜新凯、胡上峰、靳志业、丁凯、李宁、李军、赵群、翁斌、杜振东、沈盛宇、 杨萌、王功明、黄先芝、崔桐、邢少敏、马亚光、宋钰莹、章叶、宋春毅、黄林轶、徐鹏飞、赵国光、 杨琳、陈奇、张子健、江洁羽、王挺、翁家良、徐圣普、蒲江波、丁辉、徐秋程、葛唯益 、荀智德、陈 养彬、王建宽、 张振庭、杨震、龚晟、胡江明、郑德荣、朱兆颖、林冠辰、陈良旭、赵志强、杨阳、徐 坚强。 T/CESA 1038 —2019 1 信息技术 人工智能 智能助理能力等级评估 1 范围 本标准给出了智能助理的系统框架，规范了能力要素、能力等级、能力等级评估方法。 本标准适用于智能 助理的能力等级划分与评估。 2 术语和定义 下列术语和定义适用于本文件。 2.1 代理人软件 agent software 代替或协助人进行工作的软件系统，如自主决策系统或辅助决策系统。 2.2 智能助理 intelligent assistant 具有人机交互闭环，为人提供情感支持、行动支持、知识支持、决策支持以及应变支持等工作的代 理人软件或包含软硬件的机器人实体的系统总称。 注：如果系统仅由软件构成，该智能助理也可称为虚拟助理（ virtual assistant, VA）。 示例：手机语音助手、客服机器人、智能音箱的引擎系统、智 能车机的引擎系统等。 2.3 源信息 source information 被理解、响应和处理的任何形态的信息。 示例：文本、声音、语音、图像、视频、触控操作和其他物理信号等。 2.4 行动 action 智能助理 理解源信息后为了完成 工作或任务所做的动作。 示例：调用、分析、推荐、控制、播放、语音合成等。 2.5 能力主域 major capability domain 智能助理 能力的主要领域划分，由一组相关的 能力子域 组成。 2.6 能力子域 sub capability sub-domain 构成能力的若干技术能力领域，由一组相关的 能力子项 组成。 T/CESA 1038 —2019 2 2.7 能力子项 capability sub-item 构成能力的可度量的若干技术特性指标单项。 2.8 用例 use case 用例是由系统执行的一组动作的规范，其产生一个可观察的结果，通常是一个或多个参与者或其他 利益相关者的价值系统。 3 系统框架 智能助理应能理解来自用户的文本、声音、语音、图像、视频、触控操作等源信息并完成相关行动； 应能理解来自环境的传感器输入信号等源信息并完成相关行动； 应能理解来自反馈的源信息并完成相关 行动。一个智能助理应包含用户界面、信息收集、信息理解、行动决策、行动、信息适配及交换 六个部 分。 智能助理各 部分功能如下： a) 用户界面为用户提供键盘、手写、触摸、语音、手势等人机交互方式进行源信息输入，且通过 声音、语音、文本、图像、视频等方式向用户传递信息； b) 信息收集模块将各种源信息进行融合，形成智能助理可以理解的上下文信息； c) 信息理解模块对信息收集模块整理好的上下文信息进行分析， 并预测和产生用以支持行为决策 的信息,且该模块需学习内外部的知识、反馈等源信息，提高分析、理解能力； d) 行动决策模块根据信息理解模块产生的信息选择合适的一个或一组行动 ,且该模块需根据内外 部的知识、反馈等源信息提升其决策空 间的扩展和规划能力； e) 行动模块根据行动决策模块产生的最优决策调取内外部资源并执行相应行动， 且该模块将执行 结果反馈给信息收集模块； f) 信息适配及交换模块负责连接内外部资源，并完成内外部资源的数据格式转换。 智能助理的系统框架见图 1。 T/CESA 1038 —2019 3