(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210803045.7 (22)申请日 2022.07.07 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 汪浩然　何栋梁　李甫　丁二锐　 (74)专利代理 机构 北京鸿德 海业知识产权代理 有限公司 1 1412 专利代理师 刘振龙 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06F 16/783(2019.01) G06F 16/732(2019.01) G06F 16/383(2019.01) G06F 16/332(2019.01) G06F 16/33(2019.01) (54)发明名称 跨模态特征提取、 检索以及模型的训练方 法、 装置及 介质 (57)摘要 本公开提供了一种跨模态特征提取、 检索以 及模型的训练方法、 装置及介质， 涉及人工智能 技术领域， 具体涉及深度学习、 图像处理、 计算机 视觉技术领域。 具体实现方案为： 获取待处理数 据， 所述待处理数据对应至少两类第一模态； 在 述待处理数据中确定第二模态的第一数据， 所述 第二模态 为所述第一模态中的任一类模态； 对所 述第一数据进行语义实体提取， 得到语义实体； 基于所述第一数据和所述语义实体， 并采用预先 训练的跨模态特征提取模型， 获取所述第一数据 的语义编码特征。 本公开的技术， 能够有效地提 高跨模态应用中的特征提取的准确性， 进而提高 跨模态应用如跨模态检索的效率。 权利要求书5页 说明书18页 附图11页 CN 115359383 A 2022.11.18 CN 115359383 A 1.一种跨模态应用中的特 征提取方法， 包括： 获取待处 理数据， 所述待处 理数据对应至少两类第一模态； 在所述待处理数据中确定第 二模态的第 一数据， 所述第 二模态为所述第 一模态中的任 一类模态； 对所述第一数据进行语义实体提取， 得到语义实体； 基于所述第一数据和所述语义实体， 并采用预先训练的跨模态特征提取模型， 获取所 述第一数据的语义编码特 征。 2.根据权利要求1所述的方法， 其中， 所述第二模态为视频模态； 所述对所述第一数据 进行语义实体提取， 得到语义实体， 包括： 采用预先训练的语义实体提取模型， 提取 所述第一数据中各视频帧的所述语义实体。 3.根据权利要求1所述的方法， 其中， 所述第二模态为文本模态； 所述对所述第一数据 进行语义实体提取， 得到语义实体， 包括： 对所述第一数据中各词语进行语义角色标注； 基于所述语义角色， 获取 所述语义实体。 4.根据权利要求1 ‑3任一所述的方法， 其中， 所述基于所述第一数据和所述语义实体， 并采用预 先训练的跨模态特 征提取模型， 获取 所述第一数据的语义编码特 征， 包括： 基于所述语义实体， 并采用所述跨模态特征提取模型中的实体编码模块， 获取所述第 一数据的语义实体编码特 征； 基于所述第一数据， 并采用所述跨模态特征提取模型中的全局语义特征提取模块， 获 取所述第一数据的全局语义特 征； 基于所述语义实体编码特征、 所述全局语义特征、 和预设的权重配比， 并采用所述跨模 态特征提取模型中的融合模块， 获取 所述第一数据的语义编码特 征。 5.根据权利要求4所述的方法， 其中， 若所述语义实体的数量包括至少两个时， 所述基 于所述语义实体， 并采用所述跨模态特征提取模型中的实体编码模块， 获取所述第一数据 的语义实体编码特 征， 包括： 基于各所述语义实体， 并采用所述实体编码模块， 获取各所述语义实体的编码特征和 对应的注意力 信息； 基于各所述语义实体的编码特征和对应的注意力信 息， 获取所述第 一数据的语义实体 编码特征。 6.一种跨模态检索方法， 包括： 对查询信息进行语义实体提取， 得到至少两个第一语义实体； 所述查询信息对应第一 模态； 从数据库中获取第二模态的第一信息； 所述第二模态与所述第一模态不相同； 基于所述查询信 息、 所述第 一语义实体、 所述第 一信息、 和预先训练的跨模态特征提取 模型， 在所述数据库中进 行跨模态的检索， 得到与所述查询 信息对应的检索结果信息， 所述 检索结果信息对应所述第二模态。 7.根据权利要求6所述的方法， 其中， 所述基于所述查询信 息、 所述第 一语义实体、 所述 第一信息、 和预先训练的跨模态特征提取模型， 在所述数据库中进 行跨模态的检索， 得到与 所述查询信息对应的检索结果信息， 包括：权　利　要　求　书 1/5 页 2 CN 115359383 A 2基于所述查询信息和所述第一语义实体， 并采用所述跨模态特征提取模型， 获取所述 查询信息的第一语义编码特 征； 获取所述第一信息的第二语义编码特 征； 基于所述第 一语义编码特征和所述第 二语义编码特征， 在所述数据库中进行跨模态的 检索， 得到所述检索结果信息 。 8.根据权利要求7所述的方法， 其中， 所述获取所述第一信息的第二语义编码特征， 包 括： 对所述第一信息进行语义实体提取， 得到 至少两个第二语义实体； 基于所述第一信息和所述第二语义实体， 并采用所述跨模态特征提取模型， 获取所述 第二语义编码特 征。 9.根据权利要求7所述的方法， 其中， 所述获取所述第一信息的第二语义编码特征， 包 括： 从所述数据库中获取 所述第二语义编码特 征。 10.根据权利要求9所述的方法， 其中， 所述方法还 包括： 对所述第一信息进行语义实体提取， 得到所述第二语义实体； 基于所述第一信息和所述第二语义实体， 并采用所述跨模态特征提取模型， 获取所述 第二语义编码特 征； 将所述语义编码特 征存储在所述数据库中。 11.根据权利要求10所述的方法， 其中， 所述方法还 包括： 在所述数据库中获取 所述第一模态对应的第二信息； 对所述第二信息进行语义实体提取， 得到 至少两个第三语义实体； 基于所述第二信息和所述第三语义实体， 并采用所述跨模态特征提取模型， 获取所述 第二信息的第三语义编码特 征； 将所述第三语义编码特 征存储在所述数据库中。 12.一种跨模态特 征提取模型的训练方法， 包括： 获取包括至少两条训练数据的训练数据组， 所述训练数据对应至少两类第一模态； 在所述训练数据组中确定第 二模态的第 一数据和第 三模态的第 二数据， 所述第 二模态 和所述第三模态分别为所述第一模态的任一类模态； 且所述第二模态与所述第三模态不 同； 对所述第一数据和所述第 二数据分别进行语义实体抽取， 得到至少两个第 一训练语义 实体和至少两个第二训练语义实体； 基于所述第一数据、 所述至少两个第一训练语义实体、 所述第二数据和所述至少两个 第二训练语义实体， 对跨模态特 征提取模型进行训练。 13.根据权利要求12所述的方法， 其中， 基于所述第一数据、 所述至少两个第一训练语 义实体、 所述第二数据和所述至少 两个第二训练语义实体， 对跨模态特征提取模型进行训 练， 包括： 基于所述第一数据和所述至少两个第一训练语义实体， 采用所述跨模态特征提取模 型， 获取所述第一数据的语义编码特 征； 基于所述第二数据和所述至少两个第二训练语义实体， 采用所述跨模态特征提取模权　利　要　求　书 2/5 页 3 CN 115359383 A 3