(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210438561.4 (22)申请日 2022.04.20 (71)申请人 北京小米移动软件 有限公司 地址 100085 北京市海淀区西二 旗中路33 号院6号楼8层018号 (72)发明人 贺红斌　 (74)专利代理 机构 北京法胜知识产权代理有限 公司 11922 专利代理师 戎郑华 (51)Int.Cl. G06F 3/01(2006.01) G06F 40/30(2020.01) G06V 40/20(2022.01) G06F 9/451(2018.01) G06F 3/16(2006.01)G10L 15/22(2006.01) (54)发明名称 智能电器的人机交互方法、 系统及具有其的 智能电器 (57)摘要 本公开是关于一种智能电器的人机交互方 法、 系统及具有其的智 能电器， 涉及智 能电器技 术领域。 其中， 该方法包括： 获取智能电器的交互 对象的手语图像序列； 根据该手语图像序列， 确 定对应的手语指令； 控制智能电器执行与手语指 令相应的动作， 并获取智能电器执行相应的动作 后的第一反馈信息； 基于目标交互方式， 将第一 反馈信息提供给交互对象； 其中， 目标交互方式 包括文字显示方式， 语音播报方式， 手语动画方 式中的至少一种。 本公开可满足听障人士或者语 言障碍者与智能电器之间的智能交 互需求。 权利要求书3页 说明书12页 附图5页 CN 114816062 A 2022.07.29 CN 114816062 A 1.一种智能电器的人机交 互方法， 其特 征在于， 包括： 获取所述智能电器的交 互对象的手 语图像序列； 根据所述手 语图像序列， 确定对应的手 语指令； 控制所述智能电器执行与 所述手语指令相应的动作， 并获取所述智能电器执行所述相 应的动作后的第一反馈信息； 基于目标交互方式， 将所述第 一反馈信 息提供给所述交互对象； 其中， 所述目标交互方 式包括文字 显示方式， 语音播报方式， 手 语动画方式 中的至少一种。 2.如权利要求1所述的人机交互方法， 其特征在于， 所述根据所述手语图像序列， 确定 对应的手 语指令， 包括： 将所述手语图像序列与预设的手语文字映射库之中参考手语图像序列进行匹配， 获得 与所述手 语图像序列匹配的目标参 考手语图像序列； 根据所述手 语文字映射库， 确定与所述目标参 考手语图像序列对应的目标文字信息； 根据所述目标文字信息， 确定对应的手 语指令。 3.如权利要求1所述的人机交互方法， 其特征在于， 所述根据所述手语图像序列， 确定 对应的手 语指令， 包括： 对所述手 语图像序列进行语义文本识别， 获得 所述手语图像序列表达的语义文本； 根据所述语义文本确定对应的手 语指令。 4.如权利要求1所述的人机交 互方法， 其特 征在于， 还 包括： 确定所述交 互对象与所述智能电器的交 互类型； 响应于所述交互类型为手语交互类型， 执行所述获取所述智能电器的交互对象的手语 图像序列的步骤； 或者， 响应于所述交互类型为语音交互类型， 获取所述交互对象的语音信息， 并对所述 语音信息进行语音识别， 生成对应的语音指令， 控制所述智能电器执行与所述语音指令相 应的动作， 以及获取所述智能电器执行与所述语音指令相应的动作后的第二反馈信息， 基 于所述语音播报方式将所述第二反馈信息提供 给所述交互对象。 5.如权利要求4所述的人机交互方法， 其特征在于， 所述智能电器为洗衣机， 所述方法 还包括： 将所述洗衣机的显示屏分成第一显示区域和第二显示区域； 在所述第一显示 区域显示所述洗衣机的当前洗涤程序信 息， 并在所述第 二显示区域显 示与所述当前洗涤程序信息对应的参数列表。 6.如权利要求1至5中任一项所述的人机交互方法， 其特征在于， 所述智能电器为洗衣 机， 所述控制所述智能电器执行与所述手语指令相应的动作， 并获取所述智能电器执行所 述相应的动作后的第一反馈信息， 包括： 根据所述对应的手 语指令， 确定所述洗衣机待调节洗涤参数及其 参数调整值； 控制所述洗衣机将所述待调节洗涤参数调整为所述参数调整值， 并获取所述洗衣机调 整所述待调节洗涤参数后的第一反馈信息 。 7.如权利要求6所述的人机交互方法， 其特征在于， 所述目标交互方式至少包括手语动 画方式； 所述基于目标交 互方式， 将所述第一反馈信息提供 给所述交互对象， 包括： 根据所述第一反馈信息生成对应的数字人响应 手语动画视频；权　利　要　求　书 1/3 页 2 CN 114816062 A 2将所述洗衣机的显示屏分成多个显示区域； 所述多个显示区域包括第一显示区域、 第 二显示区域和第三显示区域； 在所述第一显示 区域显示所述洗衣机的当前洗涤程序信 息， 并在所述第 二显示区域显 示所述参数调整值， 以及 在所述第三显示区域 播放所述数字人响应 手语动画视频。 8.一种智能电器的人机交 互系统， 其特 征在于， 包括： 显示屏， 所述显示屏设于所述智能电器本体上； 图像采集装置， 所述图像采集装置设于所述智能电器本体上， 其中， 所述图像采集装置 用于采集交 互对象的手 语图像序列； 人机交互控制器， 所述人机交互控制器分别与所述显示屏和所述图像采集装置连接； 其中， 所述人机交互控制器用于获取所述图像采集装置采集到的所述交互对象的手语图像 序列， 并根据所述手语图像序列， 确定对应的手语指令， 根据所述对应的手语指令， 并控制 所述智能电器执行与所述手语指令相应的动作， 并获取所述智能电器执行所述相应的动作 后的第一反馈信息， 以及基于目标交 互方式， 将所述第一反馈信息提供 给所述交互对象； 其中， 所述目标交互方式包括文字显示方式， 语音播报方式， 手语动画方式中的至少一 种。 9.如权利要求8所述的人机交 互系统， 其特 征在于， 所述人机交 互控制器具体用于： 将所述手语图像序列与预设的手语文字映射库之中参考手语图像序列进行匹配， 获得 与所述手 语图像序列匹配的目标参 考手语图像序列； 根据所述手 语文字映射库， 确定与所述目标参 考手语图像序列对应的目标文字信息； 根据所述目标文字信息， 确定对应的手 语指令。 10.如权利要求8所述的人机交 互系统， 其特 征在于， 所述人机交 互控制器具体用于： 对所述手 语图像序列进行语义文本识别， 获得 所述手语图像序列表达的语义文本； 根据所述语义文本确定对应的手 语指令。 11.如权利要求8所述的人机交互系统， 其特征在于， 还包括声音采集模块和声音播放 模块， 其中， 所述声音采集模块设于所述智能电器本体上， 所述声音采集模块用于采集交互对象的 语音信息； 所述声音播放模块设置 于所述智能电器本体上； 其中， 所述人机交 互控制器还用于： 确定所述交 互对象与所述智能电器的交 互类型； 响应于所述交互类型为手语交互类型， 执行所述获取所述智能电器的交互对象的手语 图像序列的步骤； 或者， 响应于所述交互类型为语音交互类型， 获取所述声音采集模块采集到的所述语 音信息， 并对所述语音信息进 行语音识别， 生 成对应的语音指 令， 控制所述智能电器执行与 所述语音指令相应的动作， 以及获取所述智能电器执行与所述语音指 令相应的动作后的第 二反馈信息， 基于所述语音播报方式和所述声音播放模块将所述第二反馈信息提供给所述 交互对象。 12.如权利要求11所述的人机交互系统， 其特征在于， 所述智能电器为洗衣机； 所述人 机交互控制器还用于：权　利　要　求　书 2/3 页 3 CN 114816062 A 3