(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210769033.7 (22)申请日 2022.06.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 曲瑛琪　王海峰　田浩　吴华　 吴甜　刘璟　丁宇辰　邢毅然　 (74)专利代理 机构 北京鸿德 海业知识产权代理 有限公司 1 1412 专利代理师 刘振龙 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 语义检索模型的训练方法、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了一种语义检索模型的训练方 法、 装置、 电子设备及存储介质， 涉及机器学习与 自然语言处理等人工智能技术领域。 具体实现方 案为： 获取至少两个原始语义检索模 型中各原始 语义检索模 型对应的目标查询语句类型， 原始语 义检索模型对应的目标查询语句类型为原始语 义检索模型处理各种类型的查询语句中、 准确性 最高的查询语句类型； 基于至少两个原始语义检 索模型、 各原始 语义检索模型对应的目标查询语 句类型和预先建立的语料库， 获取蒸馏数据集； 基于蒸馏数据集， 对目标语义检索模型进行训 练。 本公开的技术， 能够使得训练的目标语义检 索模型能够融合至少两个原始语义检索模型的 检索能力， 克服单一语义检索模型的缺陷， 提高 语义检索的准确性。 权利要求书3页 说明书12页 附图6页 CN 115168537 A 2022.10.11 CN 115168537 A 1.一种语义检索模型的训练方法， 包括： 获取至少两个原始语义检索模型中各所述原始语义检索模型对应的目标查询语句类 型， 所述原始语义检索模型对应的目标查询语句类型为所述原始语义检索 模型处理各种类 型的查询语句中、 准确性 最高的查询语句类型； 基于至少两个原始语义检索模型、 各所述原始语义检索模型对应的目标查询语句类型 和预先建立的语料库， 获取蒸馏数据集； 基于蒸馏数据集， 对目标语义检索模型进行训练。 2.根据权利要求1所述的方法， 其中， 获取至少两个原始语义检索模型中各所述原始语 义检索模型对应的目标查询语句类型， 包括： 基于预先建立的各种类型查询语句对应的测试集， 获取各所述原始语义检索模型对应 的所述目标查询语句类型。 3.根据权利要求1所述的方法， 其中， 获取至少两个原始语义检索模型中各所述原始语 义检索模型对应的目标查询语句类型， 包括： 基于各所述原始语义检索模型的属性， 获取各所述原始语义检索模型对应的所述目标 查询语句类型。 4.根据权利要求1 ‑3任一所述的方法， 其中， 基于至少两个原始语义检索模型、 各所述 原始语义检索模型对应的目标查询语句类型和预 先建立的语料库， 获取蒸馏数据集， 包括： 基于各所述原始语义检索模型对应的目标查询语句类型， 获取各所述原始语义检索模 型对应的目标查询语句； 基于各所述原始语义检索模型和各所述原始语义检索模型对应的目标查询语句， 从所 述语料库中召回预设数量的召回语料； 基于各所述原始语义检索模型对应的目标查询语句以及对应召回的所述预设数量的 召回语料， 生成所述蒸馏数据集。 5.根据权利要求4所述的方法， 其中， 基于各所述原始语义检索模型对应的目标查询语 句以及对应召回的所述预设数量的召回语料， 生成所述蒸馏数据集， 包括： 采用预先训练 的精排模型， 对各所述原始语义检索模型对应的目标查询语句以及对应 召回的所述预设数量的召回语料进行筛 选， 生成所述蒸馏数据集。 6.根据权利要求5所述的方法， 其中， 采用预先训练的精排模型， 对各所述原始语义检 索模型对应的目标查询语句以及对应召回的所述预设数量的召回语料进 行筛选， 生成所述 蒸馏数据集， 包括： 基于所述精排模型、 各所述原始语义检索模型对应的目标查询语句以及对应召回的所 述预设数量的召回语料， 筛 选正样本数据； 基于所述精排模型、 各所述原始语义检索模型对应的目标查询语句以及对应召回的所 述预设数量的召回语料， 筛 选负样本数据； 将所述正样本数据和所述负 样本数据， 存 入所述蒸馏数据集中。 7.根据权利要求6所述的方法， 其中， 基于所述精排模型、 各所述原始语义检索模型对 应的目标查询语句以及对应召回的所述预设数量的召回语料， 筛 选正样本数据， 包括： 对于各所述原始语义检索模型对应的目标查询语句， 采用所述精排模型计算所述目标 查询语句和对应召回的所述预设数量的召回语料中各 所述召回语料的相关度分值；权　利　要　求　书 1/3 页 2 CN 115168537 A 2从所述预设数量的召回语料的前N条中删除所述相关度分值小于预设阈值的召回语 料； 其中N 为大于1的正整数； 基于所述目标查询语句和所述预设数量的召回语料中的前N条剩下的各召回语料， 构 建所述正样本数据。 8.根据权利要求6所述的方法， 其中， 基于所述精排模型、 各所述原始语义检索模型对 应的目标查询语句以及对应召回的所述预设数量的召回语料， 筛 选负样本数据， 包括： 对于各所述原始语义检索模型对应的目标查询语句， 从所述预设数量的召回语料中的 第N+1条之后的召回语料中， 选择相关度分值小于预设阈值的召回语料； 其中N为大于1的正 整数； 基于所述目标查询语句和从所述预设数量的召回语料中的第 N+1条之后的召回语料中 选择的相关度分值小于预设阈值的召回语料， 构建负 样本数据。 9.根据权利要求6所述的方法， 其中， 基于所述精排模型、 各所述原始语义检索模型对 应的目标查询语句以及对应召回的所述预设数量的召回语料， 筛 选负样本数据， 包括： 对于各所述原始语义检索模型对应的目标查询语句， 采用所述精排模型计算对应的所 述目标查询语句和对应召回的所述预设数量的召回语料中各 所述召回语料的相关度分值； 根据各所述目标查询语句和各所述召回语料的相关度分值， 从所述至少两个原始语义 检索模型的所有召回语料中， 按照预设的方式， 筛 选所述负 样本数据。 10.一种语义检索模型的训练装置， 包括： 类型获取模块， 用于获取至少两个原始语义检索模型中各所述原始语义检索模型对应 的目标查询语句类型， 所述原始语义检索 模型对应的目标查询语句类型为所述原始语义检 索模型处 理各种类型的查询语句中、 准确性 最高的查询语句类型； 数据获取模块， 用于基于至少两个原始语义检索模型、 各所述原始语义检索模型对应 的目标查询语句类型和预 先建立的语料库， 获取蒸馏数据集； 训练模块， 用于基于蒸馏数据集， 对目标语义检索模型进行训练。 11.根据权利要求10所述的装置， 其中， 所述类型获取 单元， 用于： 基于预先建立的各种类型查询语句对应的测试集， 获取各所述原始语义检索模型对应 的所述目标查询语句类型。 12.根据权利要求10所述的装置， 其中， 所述类型获取 单元， 用于： 基于各所述原始语义检索模型的属性， 获取各所述原始语义检索模型对应的所述目标 查询语句类型。 13.根据权利要求10 ‑12任一所述的装置， 其中， 所述数据获取模块， 包括： 语句获取单元， 用于基于各所述原始语义检索模型对应的目标查询语句类型， 获取各 所述原始语义检索模型对应的目标查询语句； 语料获取单元， 用于基于各所述原始语义检索模型和各所述原始语义检索模型对应的 目标查询语句， 从所述语料库中召回预设数量的召回语料； 生成单元， 用于基于各所述原始语义检索模型对应的目标查询语句以及对应召回的所 述预设数量的召回语料， 生成所述蒸馏数据集。 14.根据权利要求13所述的装置， 其中， 所述 生成单元， 用于： 采用预先训练 的精排模型， 对各所述原始语义检索模型对应的目标查询语句以及对应权　利　要　求　书 2/3 页 3 CN 115168537 A 3