(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556181.0 (22)申请日 2022.05.20 (71)申请人 青岛海尔电冰箱有限公司 地址 266101 山东省青岛市崂山区海尔路1 号海尔工业园 申请人 海尔智家 股份有限公司 (72)发明人 曾谁飞　孔令磊　张景瑞　李敏　 刘卫强　 (74)专利代理 机构 苏州威世朋知识产权代理事 务所(普通 合伙) 32235 专利代理师 郜商羽 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G10L 15/06(2013.01) G10L 15/16(2006.01) G10L 15/26(2006.01) (54)发明名称 语音识别与分类方法、 装置、 设备、 冰箱及存 储介质 (57)摘要 本发明提供一种语音识别与分类方法、 装 置、 设备、 冰箱及存储介质， 涉及计算机技术领 域， 所述方法包括步骤： 获取实时语音数据， 获取 历史文本 数据； 转写所述实时语音数据为语音文 本数据； 提取所述实时语音数据和所述历史文本 数据的文本特征； 将所述文本特征经全连接层组 合后， 输出至分类器计算得分得到分类结果信 息； 输出所述分类结果信息。 通过获取历史文本 数据， 将历史文本数据作为预训练和预测模型的 数据集的一部分， 更全面地获取了文本语义特征 信息， 通过综合运用实时语音数据和历史文本数 据， 将历史文本数作为补充数据， 弥补了语音数 据文本语义信息较少的问题， 有效提高了文本分 类准确度。 权利要求书3页 说明书10页 附图6页 CN 115062143 A 2022.09.16 CN 115062143 A 1.一种语音识别与分类方法， 其特 征在于， 包括 步骤： 获取实时语音数据， 获取历史文本数据； 转写所述实时语音数据为语音 文本数据； 提取所述实时语音数据和所述历史文本数据的文本特 征； 将所述文本特 征经全连接层组合后， 输出至分类 器计算得分得到分类结果信息； 输出所述分类结果信息 。 2.根据权利要求1所述的语音识别与分类方法， 其特征在于， 所述转写所述实时语音数 据为语音 文本数据， 具体包括： 提取所述实时语音数据特 征， 得到语音特 征； 将所述语音特 征输入语音识别卷积神经网络得到 输出文本数据； 将所述输出文本数据 序列通过 连接时序分类方法与所述语音特 征序列对齐； 将所述输出文本数据经全连接层组合后， 输出至分类函数计算得分得到语音文本数 据。 3.根据权利要求2所述的语音识别与分类方法， 其特征在于， 所述转写所述实时语音数 据为语音 文本数据， 还 包括步骤： 基于注意力机制， 获取 所述输出文本数据局部关键特 征。 4.根据权利要求2所述的语音识别与分类方法， 其特征在于， 所述将所述语音特征向量 输入语音识别卷积神经网络得到 输出文本数据， 具体包括： 将所述语音特征向量输入多尺寸多通道的多层语音识别卷积神经网络得到输出文本 数据。 5.根据权利要求2所述的语音识别与分类方法， 其特征在于， 所述提取所述实时语音数 据特征， 具体包括： 提取所述实时语音数据特 征， 获取其 梅尔频率倒谱系数 特征。 6.根据权利要求1所述的语音识别与分类方法， 其特征在于， 所述提取所述实时语音数 据和所述历史文本数据的文本特 征， 具体包括： 将所述语音 文本数据和所述历史文本数据转 化为词向量； 将所述词向量输入双向长短记忆网络模型， 获取包含基于所述语音文本数据和所述历 史文本数据上 下文特征信息的上 下文特征向量。 7.根据权利要求6所述的语音识别与分类方法， 其特征在于， 所述提取所述实时语音数 据和所述历史文本数据的文本特 征， 还包括： 将所述上 下文特征向量输入注意力机制模型， 获取包 含权重信息的注意力特 征向量。 8.根据权利要求7所述的语音识别与分类方法， 其特征在于， 所述将所述上下文特征向 量输入注意力机制模型， 获取包 含权重信息的注意力特 征向量， 具体包括： 将所述上下文特征向量输入自注意力 机制模型， 获取包含所述文本数据的文本语义自 身权重信息的第一注意力特 征向量； 将所述第一注意力特征向量输入互注意力 机制模型， 获取包含所述文本数据不同词之 间的关联权 重信息的第二注意力特 征向量。 9.根据权利要求7所述的语音识别与分类方法， 其特征在于， 所述将所述文本特征经全 连接层组合后， 输出至分类 器计算得分得到分类结果信息， 具体包括：权　利　要　求　书 1/3 页 2 CN 115062143 A 2将所述注意力特征向量经全连接层组合后， 输出至Softmax函数， 计算所述语音文本数 据和所述历史文本数据文本语义的得分及其归一 化得分结果， 得到分类结果信息 。 10.根据权利要求1所述的语音识别与分类方法， 其特征在于， 所述获取实时语音数据， 具体包括： 获取语音采集装置所采集的所述实时语音数据， 和/或 获取自客户终端传输的所述实时语音数据。 11.根据权利要求1所述的语音识别与分类方法， 其特征在于， 所述获取历史文本数据， 具体包括： 获取内部存 储的历史文本作为历史文本数据， 和/或 获取外部存储的历史文本作为历史文本数据， 和/或 获取客户终端传输的历史文本作为历史文本数据。 12.根据权利要求1所述的语音识别与分类方法， 其特 征在于， 还 包括步骤： 对所述实时语音数据进行预处理， 包括： 对所述实时语音数据进行分帧处理和加窗处 理， 对所述历史文本数据进行预处理， 包括： 对所述语音文本数据进行清洗处理、 标注、 分 词、 去停用词。 13.根据权利要求1所述的语音识别与分类方法， 其特征在于， 所述输出所述分类结果 信息包括： 将所述分类结果信息转换为语音 进行输出， 和/或 将所述分类结果信息转换为语音传输 至客户终端输出， 和/或 将所述分类结果信息转换为文本进行输出， 和/或 将所述分类结果信息转换为文本传输 至客户终端输出。 14.根据权利要求1所述的语音识别与分类方法， 其特征在于， 所述获取所述实时语音 数据和所述历史文本数据的上 下文信息和权 重信息， 具体包括： 获取存储于外部缓存的配置数据， 将所述语音文本数据和所述历史文本数据基于所述 配置数据执行深度神经网络计算， 获取所述 实时语音 数据和所述历史文本数据的上下文信 息和权重信息。 15.一种语音识别与分类装置， 包括： 数据获取模块， 用于获取实时语音数据， 和获取历史文本数据； 转写模块， 用于转写所述实时语音数据为语音 文本数据； 特征提取模块， 用于提取 所述实时语音数据和所述历史文本数据的文本特 征； 结果计算模块， 用于将所述文本特征经全连接层组合后， 输出至分类器计算得分得到 分类结果信息； 输出模块， 用于 输出所述分类结果信息 。 16.一种电器设备， 包括： 存储器， 用于存 储可执行指令； 处理器， 用于运行所述存储器存储的可执行指令时， 实现权利要求1至14任一项所述的 语音识别与分类方法。 17.一种冰箱， 包括：权　利　要　求　书 2/3 页 3 CN 115062143 A 3