(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210785961.2 (22)申请日 2022.07.04 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310052 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 韩玉洁　谭启敏　吴淑明　张家硕　 张泽旋　周靖坤　祖新星　王琪　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 张子青 (51)Int.Cl. G10L 15/26(2006.01) G06F 40/58(2020.01) G06F 40/30(2020.01) (54)发明名称 数字人手语播报方法、 装置、 设备及存储介 质 (57)摘要 本公开涉及一种数字人手语播报方法、 装 置、 设备及存储介质。 本公开通过将正常人所使 用的自然语言文本翻译为第一手语文本， 并对第 一手语文本进行语义精简处理， 得到第二手语文 本。 进一步， 根据第二手语文本驱动数字人， 使得 数字人通过肢体将第二手语文本对应的手语动 作表达出来。 由于对第一手语文本进行语义精简 处理后得到的第二手语文本可以包括较少的动 作名称， 因此， 相比于第一手语文本而言， 数字人 可以在相同时间内做较少的手语动作， 使得数字 人拥有更充分的时长来做每个手语动作， 从而可 以保证听障人士可以看清楚每 个手语动作。 权利要求书2页 说明书10页 附图8页 CN 115359796 A 2022.11.18 CN 115359796 A 1.一种数字人手 语播报方法， 其中， 所述方法包括： 获取多媒体信息， 并确定所述多媒体信息对应的自然语言文本； 将所述自然语言文本翻译为第一手 语文本； 对所述第一手 语文本进行语义精简处 理， 得到第二手 语文本； 根据所述第 二手语文本驱动数字人， 使得所述数字人通过肢体将所述第 二手语文本对 应的手语动作表达出来。 2.根据权利要求1所述的方法， 其中， 确定所述多媒体信息对应的自然语言文本之后， 所述方法还 包括： 对所述自然语言文本进行语义精简处 理， 得到精简处 理后的自然语言文本； 将所述自然语言文本翻译为第一手 语文本， 包括： 将所述精简处 理后的自然语言文本翻译为第一手 语文本。 3.根据权利要求1所述的方法， 其中， 根据所述第二手 语文本驱动数字人， 包括： 若所述多媒体信 息是非实时的音频文件或音视频文件， 则获取所述音频文件或所述音 视频文件中每 个音频信号的起始时间和终止时间； 根据所述起始时间和所述终止时间， 调整所述数字人表达手语动作的速度， 使得所述 数字人表达的手 语动作和所述音频信号在时间轴上对齐。 4.根据权利要求1所述的方法， 其中， 根据所述第二手语文本驱动数字人之后， 所述方 法还包括： 若所述多媒体信 息是实时的音频流或音视频流， 则生成所述数字人的流式手语播报视 频流， 并将所述 流式手语播报视频流实时的发送给终端； 若所述多媒体信息是非实时的音频文件、 音视频文件或文本文件， 则生成所述数字人 的手语播报视频文件， 并将所述手 语播报视频文件发送给终端。 5.根据权利要求 4所述的方法， 其中， 生成所述数字人的流式手 语播报视频流， 包括： 根据所述数字人的配置信息， 生成所述数字人的流式手 语播报视频流； 生成所述数字人的手 语播报视频文件， 包括： 根据所述数字人的配置信息， 生成所述数字人的手 语播报视频文件； 其中， 所述数字人的配置信息包括如下至少一种： 所述数字人的背景、 颜色、 所述数字人在用户界面中的位置和尺寸。 6.一种数字人手 语播报装置， 其中， 包括： 获取模块， 用于获取多媒体信息； 确定模块， 用于确定所述多媒体信息对应的自然语言文本； 翻译模块， 用于将所述自然语言文本翻译为第一手 语文本； 处理模块， 用于对所述第一手 语文本进行语义精简处 理， 得到第二手 语文本； 驱动模块， 用于根据所述第二手语文本驱动数字人， 使得所述数字人通过肢体将所述 第二手语文本对应的手 语动作表达出来。 7.根据权利要求6所述的装置， 其中， 所述处理模块还用于在所述确定模块确定所述多 媒体信息对应的自然语言文本之后， 对所述自然语言文本进行语义精简处理， 得到精简处 理后的自然语言文本； 相应的， 所述翻译模块具体用于： 将所述精简处理后的自然语言文本翻译为第一手语权　利　要　求　书 1/2 页 2 CN 115359796 A 2文本。 8.根据权利要求6所述的装置， 其中， 所述驱动模块包括获取 单元和调整单 元； 所述获取单元用于当所述多媒体信 息是非实时的音频文件或音视频文件时， 获取所述 音频文件或所述音视频文件中每 个音频信号的起始时间和终止时间； 所述调整单元用于根据 所述起始时间和所述终止时间， 调整所述数字人表达手语动作 的速度， 使得 所述数字人表达的手 语动作和所述音频信号在时间轴上对齐。 9.一种电子设备， 其中， 包括： 存储器； 处理器； 以及 计算机程序； 其中， 所述计算机程序存储在所述存储器中， 并被配置为由所述处理器执行以实现如 权利要求1 ‑5中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 所述计算机程序被处理 器执行时实现如权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115359796 A 3