(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210554861.9 (22)申请日 2022.05.20 (71)申请人 青岛海尔电冰箱有限公司 地址 266101 山东省青岛市崂山区海尔路1 号海尔工业园 申请人 海尔智家 股份有限公司 (72)发明人 曾谁飞　孔令磊　张景瑞　刘卫强　 李敏　 (74)专利代理 机构 苏州威世朋知识产权代理事 务所(普通 合伙) 32235 专利代理师 郜商羽 (51)Int.Cl. G10L 15/16(2006.01) G10L 15/26(2006.01) G10L 15/02(2006.01)G10L 25/24(2013.01) G10L 25/30(2013.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的物品分类方法、 装置、 设备 及存储介质 (57)摘要 本发明提供一种基于深度学习的物品分类 方法、 装置、 设备及存储介质， 所述方法包括步 骤： 获取包含物品信息的实时语音数据， 获取历 史文本数据； 转写实时语音数据为语音文本数 据， 提取语音文本数据文本特征； 提取历史文本 数据的文本特征； 将实时语音数据文本特征和历 史文本数据文本特征联合表示得到联合特征； 将 联合特征经全 连接层组合后， 输出至分类器计算 得分得到分类结果信息， 并判断得到物品类别信 息； 输出物品类别信息。 通过综合运用语音文本 数据和历史文本数据， 弥补了语音数据文本语义 信息较少的问题， 有效提高了文本分类准确度， 从而提高了对物品进行分类的准确率。 权利要求书3页 说明书11页 附图5页 CN 114944156 A 2022.08.26 CN 114944156 A 1.一种基于深度学习的物品分类方法， 其特 征在于， 包括 步骤： 获取包含物品信息的实时语音数据， 获取历史文本数据； 转写所述实时语音数据为语音 文本数据， 提取 所述语音 文本数据文本特 征； 提取所述历史文本数据的文本特 征； 将所述实时语音数据文本特 征和所述历史文本数据文本特 征联合表示得到联合特 征； 将所述联合特征经全连接层组合后， 输出至分类器计算得分得到分类结果信息， 并判 断得到物品类别 信息； 输出所述物品类别 信息。 2.根据权利要求1所述的基于深度学习的物品分类方法， 其特征在于， 所述获取历史文 本数据， 具体包括： 获取历史食材评论文本数据作为所述历史文本数据。 3.根据权利要求1所述的基于深度学习的物品分类方法， 其特征在于， 所述转写所述实 时语音数据为语音 文本数据， 提取 所述语音 文本数据文本特 征， 具体包括： 提取所述实时语音数据特 征， 得到语音特 征； 将所述语音特 征输入语音识别深度神经网络模型转写得到第一语音 文本向量； 将所述第一语音文本向量输入语音识别卷积神经网络进行编码， 得到第 二语音文本向 量。 4.根据权利要求3所述的基于深度学习的物品分类方法， 其特征在于， 所述提取所述实 时语音数据特 征， 具体包括： 提取所述实时语音数据特 征， 获取其 梅尔频率倒谱系数 特征。 5.根据权利要求3所述的基于深度学习的物品分类方法， 其特征在于， 提取所述历史文 本数据的文本特 征， 具体包括： 将所述历史食材评论文本数据转 化为食材评论词向量； 将所述食材评论词向量输入双向长短记忆网络模型， 获取包含基于所述历史食材评论 文本数据上 下文特征信息的食材评论上 下文特征向量。 6.根据权利要求5所述的基于深度学习的物品分类方法， 其特 征在于， 还 包括步骤： 基于注意力 机制模型， 增强所述语音文本数据和所述历史食材评论文本数据的文本特 征。 7.根据权利要求6所述的基于深度学习的物品分类方法， 其特征在于， 所述基于注意力 机制模型， 增强所述语音 文本数据和历史食材评论文本数据的文本特 征， 具体包括： 分别将所述第二语音文本向量和所述食材评论上下文特征向量输入自注意力机制模 型和互注意力机制机制模型； 获取包含所述语音文本数据自身权重信息以及所述语音文本数据与所述历史食材评 论文本数据之间权 重信息的语音 文本注意力特 征向量； 获取包含所述历史食材评论文本数据自身权重信息以及所述历史食材评论文本数上 下文特征向量与所述语音 文本数据之间权 重信息的食材评论文本注意力特 征向量。 8.根据权利要求7所述的基于深度学习的物品分类方法， 其特征在于， 所述将所述实时 语音数据文本特 征和所述历史文本数据文本特 征联合表示得到联合特 征向量， 具体包括： 将所述语音文本注意力特征向量和所述食材评论文本注意力特征向量共同映射到一权　利　要　求　书 1/3 页 2 CN 114944156 A 2个统一多模态向量空间进行 联合表示得到所述联合特 征向量。 9.根据权利要求7所述的基于深度学习的物品分类方法， 其特征在于， 所述将所述文本 特征经全连接层组合后， 输出至分类 器计算得分得到分类结果信息， 具体包括： 将所述联合特征向量经全连接层组合后， 输出至Softmax函数， 计算所述语音文本数据 和所述历史食材评论文本数据文本语义的得分及其归一 化得分结果， 得到分类结果信息 。 10.根据权利要求1所述的基于深度学习的物品分类方法， 其特征在于， 所述获取包含 物品信息的实时语音数据， 具体包括： 获取语音采集装置所采集的所述实时语音数据， 和/或 获取自客户终端传输的所述实时语音数据。 11.根据权利要求2所述的基于深度学习的物品分类方法， 其特征在于， 所述获取历史 食材评论文本数据作为所述历史文本数据， 具体包括： 获取内部存 储的历史食材评论文本作为历史食材评论文本数据， 和/或 获取外部存储的历史食材评论文本作为历史食材评论文本数据， 和/或 获取客户终端传输的历史食材评论文本作为历史食材评论文本数据。 12.根据权利要求1所述的基于深度学习的物品分类方法， 其特 征在于， 还 包括步骤： 对所述实时语音数据进行预处理， 包括： 对所述实时语音数据进行分帧处理和加窗处 理， 对所述历史文本数据进行预处理， 包括： 对所述语音文本数据进行清洗处理、 标注、 分 词、 去停用词。 13.根据权利要求1所述的基于深度学习的物品分类方法， 其特征在于， 所述输出所述 物品类别 信息包括： 将所述物品类别 信息转换为语音 进行输出， 和/或 将所述物品类别 信息转换为语音传输 至客户终端输出， 和/或 将所述物品类别 信息转换为文本进行输出， 和/或 将所述物品类别 信息转换为文本传输 至客户终端输出。 14.根据权利要求1所述的基于深度学习的物品分类方法， 其特征在于， 所述转写所述 实时语音数据为语音文本数据， 提取所述语音文本数据文本特征； 提取所述历史文本数据 的文本特 征， 还包括： 获取存储于外部缓存的配置数据， 将所述所述实时语音数据和所述历史食材评论文本 数据基于所述配置数据执 行深度神经网络计算， 进行文本转写和提取文本特 征。 15.一种基于深度学习的物品分类装置， 其特 征在于， 包括： 数据获取模块， 用于获取实时语音数据和获取历史文本数据； 转写模块， 用于转写所述实时语音数据为语音 文本数据； 特征提取模块， 用于提取所述语音文本数据文本特征和提取所述历史文本数据的文本 特征； 联合表示模块， 用于将所述实时语音数据文本特征和所述历史文本数据文本特征联合 表示得到联合特 征； 结果计算模块， 用于将所述联合特征经全连接层组合后， 输出至分类器计算得分得到 分类结果信息， 并判断得到物品类别 信息；权　利　要　求　书 2/3 页 3 CN 114944156 A 3