ICS 35.240 L70/84 团 体 标 准 T/CESA 1039—2019 信息技术 人工智能 机器翻译 能力 等级评估 Information technology -Artificial intell igence -Classified assessment for machine translation capabilities 2019 - 04 - 01发布 2019 - 04 - 01实施 中国电子工业标准化技术协会 发布 T/CESA 1039—2019 I 目 次 前 言 ................................ ................................ .............. II 1 范围 ................................ ................................ ................. 1 2 术语和定义 ................................ ................................ ........... 1 3 缩略语 ................................ ................................ .............. 1 4 机器翻译系统通用模型及要求 ................................ .......................... 2 4.1 概述 ................................ ................................ ............ 2 4.2 系统输入输出要求 ................................ ................................ 2 4.3 系统服务引擎要求 ................................ ................................ 2 5 机器翻译系统能力指标及计算方法 ................................ ...................... 2 5.1 能力指标体系 ................................ ................................ ....2 5.2 指标评估方法 ................................ ................................ ....4 5.3 能力计算方法 ................................ ................................ ....5 6 机器翻译系统能力等级划分 ................................ ............................ 5 7 机器翻译系统能力等级评估要求 ................................ ........................ 5 7.1 确定评估方案 ................................ ................................ ....5 7.2 机器翻译系统 界定 ................................ ................................ 5 7.3 计算评估指标得分 ................................ ................................ 5 7.4 评估对象等级划分 ................................ ................................ 5 7.5 评估报告及使用 ................................ ................................ ..6 附录A （资料性附录） 机器翻译忠实 度和流利度评价 ................................ ......7 附录B （规范性附录） 机器翻译系统响应时间 ................................ ............ 8 附录C （规范性附录） 机器翻译综合差错率计算 ................................ .......... 9 T/CESA 1039—2019 II 前 言 本标准按照 GB/T 1.1—2009《标准化工作导则 第1部分：标准的结构和编写》给出的规则起草。 请注意本文件的某些内容可能涉及专利。 本文件的发布机构不承担识别这些专利的责任 。 本标准由中国电子技术标准化研究院提出并归口。 本标准起草单位：中国电子技术标准化研究院、科大讯飞股份有限公司、腾讯科技（北京）有限公 司、网易有道信息技术（北京）有限公司、中国电信集团有限公司 、潍坊北大青鸟华光照排有限公司、 北京百度网讯科技有限公司 、华夏芯 (北京 )通用处理器技术有限公司 、广州广电运通金融电子股份有限 公司、安徽听见科技有限公司、杭州方得智能科技有限公司、海尔优家智能科技（北京）有限公司。 本标准主要起草人：代红、董建、张群、王燕妮、马万钟、汪小娟、马珊 珊、谢军、黄瑾、张亚军、 刘俊华、杨震、李洁、陈璐、殷建民、蒋晓琳、刘军、林冠辰、陈良旭、彭黔平、胡江明。 T/CESA 1039—2019 1 信息技术 人工智能 机器翻译能力等级评估 1 范围 本标准规定了机器翻译系统通用模型及要求、机器翻译系统能力指标及计算方法、机器翻译系统能 力等级划分和评估要求。 本标准适用于具有翻译功能的机器翻译系统产品和服务的能力等级划分与评估。 2 术语和定义 下列术语和定义适用于本文件。 2.1 机器翻译 machine translation , MT 使用计算机应用将文本从一种自然语言自动翻译成另一种自然语言。 2.2 机器翻译系统 machine translation system 由功能单元（或其组合）组成的，能够实现 机器翻译的系统 。 2.3 语言模态 language modality 以不同形式呈现或表达的自然语言信息。 注：这些形式包括但不限于文本、语音、图像、视频或文档等。 2.4 源语言 source language 将要被翻译的语言 内容。 2.5 目标语言 target language 从源语言内容 翻译而来的语言 内容。 3 缩略语 下列缩略语适用于本文件。 MTAS：机器翻译系统能力得分（ Machine Translation Ability Score） T/CESA 1039—2019 2 4 机器翻译系统通用模型及要求 4.1 概述 机器翻译系统应包含系统输入、输出和系统服务引擎，其中系统输入、输出实现不同语言模态的采 集和展现，系统服务引擎包含语言模态处理和机器翻译引擎。机器翻译系统通用模型见图 1。 系统输入 文本 语音 图像 视频 文档 系统输出 文本 语音 图像 视频 文档 语言模态处理 机器翻译引擎系统服务引擎 图1 机器翻译系统通用模型 4.2 系统输入输出要求 系统输入输出要求包括： a) 应支持用户进行语言模态的输入和输出； b) 宜支持多种语言模态的输入和输出，包括但不限于文本、语音、图像、视频或文档等。 4.3 系统服务引擎要求 系统服务引擎要求 包括对语言模态处理和机器翻译引擎的要求 。具体要求如下： a) 语言模态处理要求包括： 1) 应支持将语言模态处理成机器翻译引擎可接受的数据格式； 2) 宜支持多种语言模态处理方式，包括但不限于语音识别、语音合成、光学字符识别、图像 识别、图像渲染、文档格式解析、编解码等。 c) 机器翻译引擎要求包括： 1) 应及时响应用户的翻译请求； 2) 应支持将一种语言翻译成另一种语言，并且翻译结果能够准确表达源语言所涵盖的信息， 满足不同翻译目的、要求，以及用户跨语种交流的需求 ； 3) 宜支持多个语种之间的相互翻译； 4) 宜支持同传翻译模式； 5) 宜支持无网络连接状态的 离线翻译。 5 机器翻译系统能力指标及计算方法 5.1 能力指标体系 机器翻译系统能力测评指标体系结构见图 2。 T/CESA 1039—2019 3 机器翻译系统能力评价指标体系 机器翻译译文质量 机器翻译系统功能 译文 忠实 度译文