(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639537.9 (22)申请日 2021.12.2 9 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 李伟　肖欣延　刘家辰　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 杜月 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/242(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 语义识别方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种语义识别方法、 装置、 电 子设备及存储介质， 涉及计算机技术领域， 具体 涉及深度学习、 自然语言处理等人工智能技术领 域， 包括： 获取第一模态数据和第二模态数据， 确 定第一模态数据的第一语义表 示， 并确定第二模 态数据的第二语义表示， 再确定第一语义表示和 第二语义表 示之间的关联语义表 示， 以及根据第 一语义表示、 第二语义表示， 以及关联语义表示 识别第一模态数据和第二模态数据之间的目标 共享语义， 实现基于关联语义表示， 对第一语义 表示和第二语义表示进行细粒度的关联融合， 从 而能够识别得到更加准确， 丰富的跨模态语义表 示， 有效地提升语义表示的通用性和泛化性， 有 效地提升语义识别效果。 权利要求书4页 说明书14页 附图8页 CN 114417878 A 2022.04.29 CN 114417878 A 1.一种语义识别方法， 包括： 获取第一模态数据和第二模态数据； 确定所述第一模态数据的第一语义表示， 并确定所述第二模态数据的第二语义表示； 确定所述第一语义表示和所述第二语义表示之间的关联语义表示； 以及 根据所述第一语义表示、 所述第二语义表示， 以及所述关联语义表示识别所述第一模 态数据和所述第二模态数据之间的目标共享语义。 2.根据权利要求1所述的方法， 其中， 所述根据 所述第一语义表示、 所述第 二语义表示， 以及所述关联语义表 示识别所述第一模态数据和所述第二模态数据之 间的目标共享语义， 包括： 根据所述关联语义表示处 理所述第一语义表示， 以得到第一目标语义表示； 根据所述关联语义表示处 理所述第二语义表示， 以得到第二目标语义表示； 以及 根据所述第一目标语义表示、 所述第二目标语义表示， 以及所述关联语义表示识别所 述第一模态数据和所述第二模态数据之间的目标共享语义。 3.根据权利要求2所述的方法， 其中， 所述根据所述关联语义表示处理所述第 一语义表 示， 以得到第一目标语义表示， 包括： 对所述关联语义表示和所述第 一语义表示进行对齐处理， 并将对齐处理得到的所述第 一语义表示作为所述第一目标语义表示； 其中， 所述根据 所述关联语义表示处理所述第 二语义表示， 以得到第 二目标语义表示， 包括： 对所述关联语义表示和所述第 二语义表示进行对齐处理， 并将对齐处理得到的所述第 二语义表示作为所述第二目标语义表示。 4.根据权利要求1所述的方法， 所述第一模态是图像模态； 其中， 所述确定所述第一模态数据的第一语义表示， 包括： 对所述第 一模态数据进行划分， 以得到多个图像块， 其中， 所述多个图像块分别包括多 个图像像素信息； 对所述多个图像像素信息分别进行语义编码处理， 以得到对应多个图像块语义表示； 以及 将所述多个图像块语义表示作为所述第一语义表示。 5.根据权利要求 4所述的方法， 所述第二模态是文本模态； 其中， 所述确定所述第二模态数据的第二语义表示， 包括： 对所述第二模态数据进行划分， 以得到多个文本符号； 对所述多个文本符号分别进行语义编码处 理， 以得到对应多个文本语义表示； 以及 将所述多个文本语义表示作为所述第二语义表示。 6.根据权利要求5所述的方法， 其中， 所述确定所述第 一语义表示和所述第 二语义表示 之间的关联语义表示， 包括： 根据所述第一语义表示和所述第二语义表示， 确定初始落 地语义表示； 对所述第 一语义表示、 所述第 二语义表示， 以及所述初始落地语义表示进行融合编码， 以得到所述关联语义表示。 7.根据权利要求6所述的方法， 其中， 所述根据所述第一语义表示和所述第二语义表权　利　要　求　书 1/4 页 2 CN 114417878 A 2示， 确定初始落 地语义表示， 包括： 确定所述第一语义表示和所述第二语义表示之间的聚类描述信息； 从落地语义词典中确定与所述聚类描述信息匹配的落地语义表示作为所述初始落地 语义表示； 其中， 所述落地语义词典包括： 所述聚类描述信息， 以及与所述 聚类描述信息匹配的落 地语义表示。 8.根据权利要求7所述的方法， 其中， 所述确定所述第 一语义表示和所述第 二语义表示 之间的聚类描述信息， 包括： 确定目标图像块语义表示和目标文本语义表示之间的相似度信 息， 并将所述相似度信 息作为所述聚类描述信息； 其中， 所述目标图像块语义表示属于所述多个图像块语义表示， 所述目标文本语义表 示属于所述多个文本语义表示， 所述目标图像块语义表示和所述目标文本语义表示属于聚 类得到的相同数据类别。 9.根据权利要求8所述的方法， 其中， 所述对所述第 一语义表示、 所述第 二语义表示， 以 及所述初始落 地语义表示进行融合编码， 以得到所述关联语义表示， 包括： 根据所述相似度信息， 确定融合权 重信息； 根据所述融合权重信息对所述第一语义表示、 所述第二语义表示， 以及所述初始落地 语义表示进行融合编码， 以得到所述关联语义表示。 10.一种语义识别装置， 包括： 获取模块， 用于获取第一模态数据和第二模态数据； 第一确定模块， 用于确定所述第一模态数据的第一语义表示， 并确定所述第二模态数 据的第二语义表示； 第二确定模块， 用于确定所述第一语义表示和所述第二语义表示之间的关联语义表 示； 以及 识别模块， 用于根据 所述第一语义表示、 所述第 二语义表示， 以及所述关联语义表示识 别所述第一模态数据和所述第二模态数据之间的目标共享语义。 11.根据权利要求10所述的装置， 其中， 所述识别模块， 包括： 第一处理子模块， 用于根据所述关联语义表示处理所述第一语义表示， 以得到第一目 标语义表示； 第二处理子模块， 用于根据所述关联语义表示处理所述第二语义表示， 以得到第二目 标语义表示； 以及 识别子模块， 用于根据 所述第一目标语义表示、 所述第 二目标语义表示， 以及所述关联 语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义。 12.根据权利要求1 1所述的装置， 其中， 所述第一处 理子模块， 具体用于： 对所述关联语义表示和所述第 一语义表示进行对齐处理， 并将对齐处理得到的所述第 一语义表示作为所述第一目标语义表示； 其中， 所述第二处 理子模块， 具体用于： 对所述关联语义表示和所述第 二语义表示进行对齐处理， 并将对齐处理得到的所述第 二语义表示作为所述第二目标语义表示。权　利　要　求　书 2/4 页 3 CN 114417878 A 3