(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210592050.8 (22)申请日 2022.05.27 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 卢宇翔　刘佳祥　冯仕堃　黄世维　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本匹配双塔模 型的知识蒸馏方法、 装置及 程序产品 (57)摘要 本公开提供了一种文本匹配双塔模型的知 识蒸馏方法、 装置、 电子设备、 存储介质及计算机 程序产品， 涉及人工智 能技术领域， 具体涉及深 度学习技术， 可用于搜索、 推荐场景下。 具体实现 方案为： 在根据训练样本集训练双塔模型的过程 中， 确定双塔模 型中的第一塔形网络的第一输出 和第二塔形网络的第二输出之间关于语义编码 信息的第一匹配度， 以及关于文本单元编码信息 的第二匹配度； 确定训练样本集中的预设数量的 训练样本对应的第一匹配度的第一分布信息， 以 及对应的第二匹配度的第二分布信息； 根据第一 分布信息和第二分布信息， 对双塔模 型进行知识 蒸馏。 本公开提高了双塔模型的准确度， 降低了 知识蒸馏过程的信息处 理成本。 权利要求书2页 说明书12页 附图6页 CN 114841172 A 2022.08.02 CN 114841172 A 1.一种文本匹配双塔模型的知识蒸馏方法， 包括： 在根据训练样本集训练双塔模型的过程中， 对于输入的训练样本中的样本文本对， 确 定所述双塔模型中的第一塔形网络的第一输出和第二塔形网络的第二输出之间关于语义 编码信息的第一匹配度， 以及关于文本单 元编码信息的第二匹配度； 确定所述训练样本集中的预设数量的训练样本对应的第 一匹配度的第 一分布信 息， 以 及对应的第二匹配度的第二分布信息； 根据所述第一分布信息和所述第二分布信息， 对所述双塔模型进行知识蒸馏。 2.根据权利要求1所述的方法， 其中， 所述根据所述第一分布信息和所述第二分布信 息， 对所述双塔模型进行知识蒸馏， 包括： 确定所述第一分布信息和所述第二分布信息之间的损失； 根据所述损失， 对所述双塔模型进行知识蒸馏。 3.根据权利要求1所述的方法， 其中， 第一匹配度和第二匹配度均通过匹配度数值表 征； 以及 所述确定所述双塔模型中的第一塔形网络的第一输出和第二塔形网络的第二输出之 间关于语义编码信息的第一匹配度， 以及关于文本单 元编码信息的第二匹配度， 包括： 确定所述第一输出中的语义编码信息和所述第二输出中的语义编码信息之间的匹配 度数值， 得到第一匹配度； 对于所述第 一输出中的每个文本单元编码信 息， 根据所述第 一输出中的该文本单元编 码信息与所述第二输出中的每个文本单元编码信息之 间的匹配度数值， 确定所述第一输出 中的该文本单 元编码信息对应的最大匹配度数值； 根据所述第 一输出中的每个文本单元编码信 息对应的最大匹配度 数值， 确定第 二匹配 度。 4.根据权利要求1所述的方法， 其中， 所述训练样本集中的训练样本包括样本文本对和 表征样本文本对中的样本文本之间的匹配度的标签； 以及 所述根据训练样本集训练双塔模型， 包括： 利用机器学习算法， 以样本文本对中的一个样本文本为所述第一塔形网络的输入， 以 样本文本对中的另一个样本文本为所述第二塔形网络的输入， 将所输入的样本文本对对应 的标签作为所述第一塔形网络的第一输出和所述第二塔形网络的第二输出之间关于匹配 度的期望 输出， 训练所述双塔模型。 5.一种文本匹配方法， 包括： 获取待匹配文本； 通过训练后的双塔模型确定与所述待匹配文本匹配的目标文本， 其中， 所述训练后的 双塔模型通过权利要求1 ‑4中的任一项 进行训练、 知识蒸馏得到 。 6.一种文本匹配双塔模型的知识蒸馏装置， 包括： 第一确定单元， 被配置成在根据训练样本集训练双塔模型的过程中， 对于输入的训练 样本中的样本文本对， 确定所述双塔模型中的第一塔形网络的第一输出和 第二塔形网络的 第二输出之间关于语义编码信息的第一匹配度， 以及关于文本单元编码信息的第二匹配 度； 第二确定单元， 被配置成确定所述训练样本集中的预设数量的训练样本对应的第 一匹权　利　要　求　书 1/2 页 2 CN 114841172 A 2配度的第一分布信息， 以及对应的第二匹配度的第二分布信息； 知识蒸馏单元， 被配置成根据所述第一分布信息和所述第二分布信息， 对所述双塔模 型进行知识蒸馏。 7.根据权利要求6所述的装置， 其中， 所述知识蒸馏单 元， 进一步被配置成： 确定所述第一分布信息和所述第二分布信息之间的损 失； 根据所述损 失， 对所述双塔 模型进行知识蒸馏。 8.根据权利要求6所述的装置， 其中， 第一匹配度和第二匹配度均通过匹配度数值表 征； 以及 所述第一确定单 元， 进一步被配置成： 确定所述第一输出中的语义编码信息和所述第二输出中的语义编码信息之间的匹配 度数值， 得到第一匹配度； 对于所述第一输出中的每个文本单元编码信息， 根据所述第一输 出中的该文本单元编码信息与所述第二输出中的每个文本单元编码信息之间的匹配度数 值， 确定所述第一输出中的该文本单元编码信息对应的最大匹配度数值； 根据所述第一输 出中的每 个文本单 元编码信息对应的最大匹配度数值， 确定第二匹配度。 9.根据权利要求6所述的装置， 其中， 所述训练样本集中的训练样本包括样本文本对和 表征样本文本对中的样本文本之间的匹配度的标签； 以及 所述第一确定单 元， 进一步被配置成： 利用机器学习算法， 以样本文本对中的一个样本文本为所述第一塔形网络的输入， 以 样本文本对中的另一个样本文本为所述第二塔形网络的输入， 将所输入的样本文本对对应 的标签作为所述第一塔形网络的第一输出和所述第二塔形网络的第二输出之间关于匹配 度的期望 输出， 训练所述双塔模型。 10.一种文本匹配装置， 包括： 获取单元， 被配置成获取待匹配文本； 第三确定单元， 被配置成通过训练后的双塔模型确定与 所述待匹配文本匹配的目标文 本， 其中， 所述训练后的双塔模型通过权利要求6 ‑9中的任一项 进行训练、 知识蒸馏得到 。 11.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其特征在于， 所述计算机指 令用于使所述计算机执 行权利要求1 ‑5中任一项所述的方法。 13.一种计算机程序产品， 包括： 计算机程序， 所述计算机程序在被处理器执行时实现 根据权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114841172 A 3