ICCS 智能音箱智能化分级指标体系 Index system for smart speaker intelligent classification （报批稿） YD YD/T×××× —××××中 华 人 民 共 和 国 通 信 行 业 标 准 ××××-××-××发布 ××××-××-××实施 中华人民共和国工业和信息化部 发布ICS 35.240 CCS L 67ICS 33.160.60 CCS M 30YD/T XXXX—XXXX II目 次 前言 ........................................................................ III 引言 ......................................................................... IV 1 范围 ........................................................................ 1 2 规范性引用文件 .............................................................. 1 3 术语和定义 .................................................................. 1 4 缩略语 .................................................................... 2 5 指标要求和评估方法概述 ...................................................... 3 5.1 智能音箱系统基本框架 .................................................. 3 5.2 智能音箱智能化等级划分 ................................................ 3 6 具体指标项及评估方法 ........................................................ 4 6.1 评估方法概述 .......................................................... 4 6.2 智能音箱智能化评估指标 ................................................ 5 III前 言 本文件按照 GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规 则》给出的规定起草。 请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别这些专利的责任 。 本文件由中国通信标准化协会提出并归口。 本文件起草单位 ：中国信息通信研究院、中国移动通信集团有限公司、北京小米移动软 件有限公司 、北京百度网讯科技有限公司 、阿里巴巴 （中国）有限公司 、深圳市腾讯计算机 系统有限公司 、思必驰科技股份有限公司 、华为技术有限公司 、南京新一代人工智能研究院 有限公司。 本文件主要起草人 ：董晓飞、施羽暇、李强、许一骅、沈援海、龚文全、李世聪、相非、 赵立峰、穆亚敏、郑林、汤跃忠、周正友、王瑞、牛也、慕银锁、方强、陈君宇、孟祥瑞、 张学强、张萌、孙亮、陈会。 YD/T XXXX—XXXX IV引 言 近年来，智能音箱发展迅猛 ，出货数量出现井喷式增长 。智能音箱作为具有智能语音交 互系统、互联网服务内容 ，同时可扩展更多设备和内容接入的互联网终端产品 ，可为家庭消 费者提供随时享受互联网时代的便利 。然而，各种电子产品及其服务虽 冠以“人工智能 ”的 名目，但其对于智能的定义非常模糊 。为协助消费者在选购产品 、政府在审批企业项目 、平 台企业管理产品准入时 ，对人工智能技术或产品的智能化程度有一个量化的评判标准 ，探索 建立智能化分级程度 ，进而构建智能化评价体系 ，对智能化产品的研发有一个促进作用 ，对 于规范市场，推动产业发展具有十分重要的意义。 YD/T XXXX—XXXX 1智能音箱智能化分级 指标体系 1　范围 本文件规定了 智能音箱的 等级指标要求和评估准则 ，主要包括 语音唤醒准确率 、误唤醒 率、语音识别能力 、智能交互能力 、音箱自身的智能控制能力 、语音播报能力 、智能家居控 制能力、音箱技能领域 、响应速度 、个性化识别能力及多模态交互 、个性化服务和安全防护 能力指标项评估。 本文件适用于指导第三方测评机构对智能音箱系统智能化等级的评估、验收等工作。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅所注日期的版本 适用于本文件 。凡是不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本文件 。 GB/T 21023-2007 中文语音识别系统通用技术规范 GB/T 21024-2007 中文语音合成系统通用技术规范 3　术语和定义 下列术语和定义适用于本文件。 3.1　 智能音箱 smart speaker 以音箱为载体，利用计算机网络、互联网、音视频等技术，具备语音识别、语音交互、 自然语言理解、语音合成等功能，能够为用户提供信息、生活等服务的设备。 3.2　 麦克风阵列 microphone array 由一定数目的麦克风组成，用来对声场的空间特性进行采样并处理的拾音技术。 3.3　 语音前端系统 speech front-endsystem 通过麦克风阵列采集原始语音后 ，对其进行回声消除 、波束形成 、噪声抑制等处理 ，以 期更能反映语音本质特征、提升目标语音识别率的信号增强系统。 3.4　 远场语音 far-field speech 用户与传声器距离较大场景下的语音交互方式 ，通常远场语音交互系统由远场前端 、语 音唤醒、语音识别、语音合成、自然语言理解等部分构成。 3.5　 智能语音设备 intelligent voice device 具备远场语音交互能力的设备 。 YD/T XXXX—XXXX 2 3.6　 语音唤醒 voice wake-up 检测到语音输入中的唤醒词，成功唤醒智能设备的语音交互系统。 3.7　 唤醒词 wake-upword 用来语音唤醒识别服务的命令词，一般为一句话或者短语。 3.8　 语音识别 automatic speech recognition 语音信号转化为文字的过程。 [来源：GB/T 21023-2007 ，3.1] 3.9　 语音合成 text to speech 文字转化为语音信号的过程。 [来源：GB/T 21024-2007 ，3.1] 3.10　 干扰声源 interfering sound 用户场景中除目标声源外的独立声源，对语音交互形成干扰。 3.11　 测试集 test corpus 用于测试语音前端系统的音频集（详见测试集构建 ）。 3.12　 准确率 precision 准确率反映了被分类器判定的正例中真正的正例样本的比重。 注：假设原始样本中有两类，其中： a) 总共有P个类别为 1的样本，假设类别 1为正例; b) 总共有N个类别为 0的样本，假设类别 0为负例。 经过分类后： a) 有TP个类别为 1的样本被系统正确判定为类别 1，FN个类别为 1的样本被系统误判定为类别 0，显 然有P=TP+FN； b) 有FP个类别为 0的样本被系统误判断定为类别 1，TN个类别为 0的样本被系统正确判为类别 0，显 然有N=FP+TN； 准确率的计算方法可参照公式（ 1）： Precision =𝑇𝑃 𝑇𝑃+𝐹𝑃…………………………………（ 1） 式中： Precision ——准确率； YD/T XXXX—XXXX 3TP ——类别为1且被系统正确判断为类别 1的数量； FP ——类别为0且被系统错误判断为类别 1的数量。 4 缩略语 下列缩略语适用于本文件： APP 应用程序 Application DNS 域名系统 Domain Name System HTTPS 基于安全插座层的超文本传输协议 Hyper Text Transfer Protocol over SecureSocket Layer IPSEC 互联网安全协议 Internet Protocol Security SMB 服务器消息块 Server Message Block SQL 结构化查询语言 Structured Query Language TN 文本规整 /文本正则化 Text Normalization TLS 传输层安全性 Transport Layer Security XSS 跨站脚本攻击 Cross Site Scripting 5　指标要求和评估方法概述 5.1　智能音箱系统基本框架 基于语音控制的智能