(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599545.3 (22)申请日 2022.05.30 (71)申请人 中银金融科技有限公司 地址 200120 上海市浦东 新区(上海)自由 贸易试验区银城中路20 0号4楼408室 (72)发明人 张瑞　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 董娜 (51)Int.Cl. G06F 16/9035(2019.01) G06F 16/903(2019.01) G06F 16/906(2019.01) G06F 16/908(2019.01) G06F 40/30(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于跨模态学习的数据检索方法、 装置、 设 备和介质 (57)摘要 本发明提供一种基于跨模态学习的数据检 索方法、 装置、 设备和介质， 包括： 从检索对象中 提取第一数据特征及从各待检索对象中提取第 二数据特征， 基于训练好的深度典型相关分析模 型获得第一数据特征的第一特征最大相关子空 间及各第二数据特征的第二特征最大相关子空 间； 将第一特征最大相关子空间及各第二特征最 大相关子空间输入语义分类器， 获得语义分类器 输出的第一特征语义空间及各第二特征语义空 间； 计算出第一特征语义空间与各第二特征语义 空间之间的余弦相似度， 并基于余弦相似度从至 少一个待检索对象筛选出至少一个目标对象， 由 此通过利用训练好的深度典型相关分析模型及 语义分类器进行跨模特检索， 实现了提高检索效 率及检索结果相关度的目的。 权利要求书2页 说明书10页 附图3页 CN 115129952 A 2022.09.30 CN 115129952 A 1.一种基于跨模态学习的数据检索方法， 其特 征在于， 包括： 从检索对象中提取第一数据特征及从各待检索对象中提取第二数据特征， 其中， 所述 第一数据特 征与所述第二数据特 征为不同模态数据特 征； 基于训练好的深度典型相关分析模型获得所述第一数据特征的第一特征最大相关子 空间及各 所述第二数据特 征的第二特 征最大相关子空间； 将所述第一特征最大相关子空间及各所述第 二特征最大相关子空间输入语义分类器， 获得所述语义分类 器输出的第一特 征语义空间及各第二特 征语义空间； 计算出所述第 一特征语义空间与 各所述第 二特征语义空间之间的余弦相似度， 并基于 所述余弦相似度从至少一个所述待检索对象筛 选出至少一个目标对象。 2.根据权利要求1所述的基于跨模态学习的数据检索方法， 其特征在于， 所述基于训练 好的深度典型相关分析模型获得所述第一数据特征的第一特征最大相关子空间及各所述 第二数据特 征的第二特 征最大相关子空间， 具体包括： 将所述第一数据 特征输入训练好的深度典型相关分析模型的第 一深度学习网络， 获得 所述第一深度学习网络的输出的第一特 征最大相关子空间； 将各所述第 二数据特征输入训练好的深度典型相关分析模型的第 二深度学习网络， 分 别获得所述第二深度学习网络 输出的第二特 征最大相关子空间。 3.根据权利要求1所述的基于跨模态学习的数据检索方法， 其特征在于， 所述基于训练 好的深度典型相关分析模型获得所述第一数据特征的第一特征最大相关子空间及各所述 第二数据特 征的第二特 征最大相关子空间之前， 还 包括： 将图像特征训练数据及文本特征训练数据分别输入至初始深度典型相关分析模型的 第一深度学习网络及第二深度学习网络， 获得所述第一深度学习网络输出的第一矩阵训练 数据及所述第二深度学习网络 输出的第二矩阵训练数据； 获取所述第一矩阵训练数据的第一数据中心化矩阵及所述第二矩阵训练数据的第二 数据中心化矩阵， 并根据所述第一数据中心 化矩阵及所述第二数据中心 化矩阵利用相关系 数函数计算出 所述图像特 征训练数据及所述文本特 征训练数据的相关系数； 基于所述相关系数对所述第一深度学习网络的第一参数及所述第二深度学习 网络的 第二参数进行更新， 直至所述第一参数及所述第二参数更新至最优参数， 以获得训练好的 深度典型相关 分析模型。 4.根据权利要求3所述的基于跨模态学习的数据检索方法， 其特征在于， 所述基于所述 相关系数对所述第一深度学习网络的第一参数及所述第二深度学习网络的第二参数进行 更新， 直至所述第一参数及所述第二参数更新至最优参数， 以获得训练好的深度典型相关 分析模型， 具体包括： 分别计算出所述相关系数相对于所述第一深度学习网络的参数的第一相对梯度及所 述相关系数相对于所述第二深度学习网络的参数的第二相对梯度； 基于所述第一相对梯度及所述第二相对梯度计算出所述相关系数函数的最大相关系 数， 并根据所述最大相关系数匹配的第一参数更新所述第一深度学习网络及第二参数更新 所述第二深度学习网络， 以获得训练好的深度典型相关 分析模型。 5.根据权利要求1所述的基于跨模态学习的数据检索方法， 其特征在于， 所述将所述第 一特征最大相关子空间及各所述第二特征最大相关子空间输入语义分类器， 获得所述语义权　利　要　求　书 1/2 页 2 CN 115129952 A 2分类器输出的第一特 征语义空间及各第二特 征语义空间之前， 还 包括： 获取各模态训练实例的最大相关子空间及各模态训练实例的语义标签； 基于所述最大相关子空间及所述语义标签对语义分类器的视觉语义映射和文本语义 映射进行训练。 6.根据权利要求1所述的基于跨模态学习的数据检索方法， 其特征在于， 所述计算出所 述第一特 征语义空间与各 所述第二特 征语义空间之间的余弦相似度， 具体包括： 基于语义空间的相似度计算公式计算出所述第一特征语义空间与各所述第二特征语 义空间之间的余弦相似度； 其中， 所述语义空间的相似度计算公式如下： sim(I,T)＝d(LI(pI),LT(pT)) 其中， 所述LT(pT)为从第一特征最大相关子空间到语义空间的第一语义投影， 所述LI (pI)为从第二特 征最大相关子空间到语义空间的第二语义投影。 7.根据权利要求1至6任一项所述的基于跨模态学习的数据检索方法， 其特征在于， 所 述基于所述 余弦相似度从至少一个所述待检索对象筛 选出至少一个目标对象， 具体包括： 按照余弦相似度从大到小顺序对至少一个所述待检索对象进行排序， 并根据排序 结果 筛选出至少一个目标对象。 8.一种基于跨模态学习的数据检索装置， 其特 征在于， 包括： 提取单元， 用于从检索对象中提取第 一数据特征及从各待检索对象中提取第 二数据特 征， 其中， 所述第一数据特 征与所述第二数据特 征为不同模态数据特 征； 获取单元， 用于基于训练好的深度典型相关分析模型获得所述第 一数据特征的第 一特 征最大相关子空间及各 所述第二数据特 征的第二特 征最大相关子空间； 分类单元， 用于将所述第 一特征最大相关子空间及各所述第 二特征最大相关子空间输 入语义分类 器， 获得所述语义分类 器输出的第一特 征语义空间及各第二特 征语义空间； 筛选单元， 用于计算出所述第 一特征语义空间与 各所述第 二特征语义空间之间的余弦 相似度， 并基于所述 余弦相似度从至少一个所述待检索对象筛 选出至少一个目标对象。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于跨模态学习的数据检索方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述基于跨模态学习的数据检索方法。权　利　要　求　书 2/2 页 3 CN 115129952 A 3