(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210554860.4 (22)申请日 2022.05.20 (71)申请人 青岛海尔电冰箱有限公司 地址 266101 山东省青岛市崂山区海尔路1 号海尔工业园 申请人 海尔智家 股份有限公司 (72)发明人 曾谁飞　孔令磊　张景瑞　李敏　 刘卫强　 (74)专利代理 机构 苏州威世朋知识产权代理事 务所(普通 合伙) 32235 专利代理师 郜商羽 (51)Int.Cl. G06F 16/9535(2019.01) G10L 15/26(2006.01) G06F 40/30(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 40/284(2020.01) (54)发明名称 基于深度学习的信息推送方法、 装置、 设备 及存储介质 (57)摘要 本发明提供一种基于深度学习的信息推送 方法、 装置、 设备及存储介质， 涉及计算机技术领 域， 所述方法包括步骤： 获取实时语音数据， 获取 历史文本 数据； 转写实时语音数据为语音文本数 据， 提取语音文本数据文本特征； 提取历史文本 数据的文本特征； 将实时语音数据文本特征和历 史文本数据文本特征融合得到融合特征； 对融合 特征进行实体抽取和意图识别生成会话状态跟 踪任务； 基于会话状态跟踪任务计算结果信息； 输出结果信息。 通过综合运用语音文本数据和历 史文本数据， 将历史文本数据作为补充数据， 弥 补了语音数据文本语义信息较少的问题， 有效提 高了文本分类准确度， 从而提高了相关信息推送 的准确率。 权利要求书3页 说明书11页 附图5页 CN 115098765 A 2022.09.23 CN 115098765 A 1.一种基于深度学习的信息推送方法， 其特 征在于， 包括 步骤： 获取实时语音数据， 获取历史文本数据； 转写所述实时语音数据为语音 文本数据， 提取 所述语音 文本数据文本特 征； 提取所述历史文本数据的文本特 征； 将所述实时语音数据文本特 征和所述历史文本数据文本特 征融合得到融合特 征； 对所述融合特 征进行实体抽取和意图识别生成会话状态 跟踪任务； 基于所述会话状态 跟踪任务计算结果信息； 输出所述结果信息 。 2.根据权利要求1所述的基于深度学习的信 息推送方法， 其特征在于， 所述转写所述实 时语音数据为语音 文本数据， 提取 所述语音 文本数据文本特 征， 具体包括： 提取所述实时语音数据特 征， 得到语音特 征； 将所述语音特 征输入语音识别组件的深度神经网络模型转写得到第一语音 文本向量； 将所述第一语音文本向量输入双向长短记忆网络模型， 获取包含基于所述语音文本数 据上下文特征信息的语音 文本上下文特征向量。 3.根据权利要求2所述的基于深度学习的信 息推送方法， 其特征在于， 所述提取所述实 时语音数据特 征， 具体包括： 提取所述实时语音数据特 征， 获取其 梅尔频率倒谱系数 特征。 4.根据权利要求2所述的基于深度学习的信 息推送方法， 其特征在于， 提取所述历史文 本数据的文本特 征， 具体包括： 将所述历史文本数据转 化为历史文本词向量； 将所述历史文本词向量输入双向长短记忆网络模型， 获取包含基于所述历史文本数据 上下文特征信息的历史文本上 下文特征向量。 5.根据权利要求 4所述的基于深度学习的信息推送方法， 其特 征在于， 还 包括步骤： 基于注意力机制模型， 增强所述语音 文本数据和所述历史文本数据的文本特 征。 6.根据权利要求5所述的基于深度学习的信 息推送方法， 其特征在于， 所述基于注意力 机制模型， 增强所述语音 文本数据和历史文本数据的文本特 征， 具体包括： 分别将所述语音文本上下文特征向量和所述历史文本上下文特征向量输入自注意力 机制和全连接层的融合模型； 获取包含所述语音 文本数据自身权 重信息的语音 文本注意力特 征向量； 获取包含所述历史文本数据自身权 重信息的历史文本注意力特 征向量。 7.根据权利要求6所述的基于深度学习的信 息推送方法， 其特征在于， 所述将所述实时 语音数据文本特 征和所述历史文本数据文本特 征融合到融合特 征向量， 具体包括： 将所述语音文本注意力特征向量和所述历史文本注意力特征向量进行融合得到所述 融合特征向量。 8.根据权利要求7所述的基于深度学习的信 息推送方法， 其特征在于， 所述对所述融合 特征进行实体抽取和意图识别生成会话状态 跟踪任务， 具体包括： 将所述融合特征向量输入双向长短记忆网络和卷积神经网络的组合模型进行实体抽 取和意图识别生成所述会话状态 跟踪任务。 9.根据权利要求7所述的基于深度学习的信 息推送方法， 其特征在于， 所述基于所述会权　利　要　求　书 1/3 页 2 CN 115098765 A 2话状态跟踪任务计算结果信息， 具体包括： 根据所述会话状态跟踪任务， 并通过基于实体信 息和意图识别所形成的系统自有和历 史积累形成的决策库、 以及执 行动作命令的引擎库， 计算得到用以反馈的所述结果信息 。 10.根据权利要求1所述的基于深度学习的信息推送方法， 其特征在于， 所述转写所述 实时语音数据为语音文本数据， 提取所述语音文本数据文本特征； 提取所述历史文本数据 的文本特 征， 还包括： 获取存储于外部缓存的配置数据， 将所述语音文本数据和所述历史文本数据基于所述 配置数据执 行深度神经网络计算， 进行文本转写和提取文本特 征。 11.根据权利要求1所述的基于深度学习的信息推送方法， 其特征在于， 所述获取实时 语音数据， 具体包括： 获取语音采集装置所采集的所述实时语音数据， 和/或 获取自客户终端传输的所述实时语音数据。 12.根据权利要求1所述的基于深度学习的信息推送方法， 其特征在于， 获取历史文本 数据， 具体包括： 获取内部存 储的历史文本作为历史文本数据， 和/或 获取外部存储的历史文本作为历史文本数据， 和/或 获取客户终端传输的历史文本作为历史文本数据。 13.根据权利要求1所述的基于深度学习的信息推送方法， 其特 征在于， 还 包括步骤： 对所述实时语音数据进行预处理， 包括： 对所述实时语音数据进行分帧处理和加窗处 理， 对所述历史文本数据进行预处理， 包括： 对所述语音文本数据进行清洗处理、 标注、 分 词、 去停用词。 14.根据权利要求1所述的基于深度学习的信息推送方法， 其特征在于， 所述输出所述 结果信息包括： 将所述结果信息转换为语音 进行输出， 和/或 将所述结果信息转换为语音传输 至客户终端输出， 和/或 将所述结果信息转换为文本进行输出， 和/或 将所述结果信息转换为文本传输 至客户终端输出。 15.根据权利要求1所述的基于深度学习的信息推送方法， 其特征在于， 所述获取所述 实时语音数据和所述历史文本数据的上 下文信息和权 重信息， 具体包括： 获取存储于外部缓存的配置数据， 将所述语音文本数据和所述历史文本数据基于所述 配置数据执行深度神经网络计算， 获取所述 实时语音 数据和所述历史文本数据的上下文信 息和权重信息。 16.一种基于深度学习的信息推送装置， 其特 征在于， 包括： 数据获取模块， 用于获取实时语音数据和获取历史文本数据； 转写模块， 用于转写所述实时语音数据为语音 文本数据； 特征提取模块， 用于提取所述语音文本数据文本特征和提取所述历史文本数据的文本 特征； 融合模块， 用于将所述实时语音数据文本特征和所述历史文本数据文本特征融合得到权　利　要　求　书 2/3 页 3 CN 115098765 A 3