(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210366504.X (22)申请日 2022.04.08 (71)申请人 北京奇艺世纪科技有限公司 地址 100080 北京市海淀区北一 街2号爱奇 艺创新大厦10、 1 1层 (72)发明人 张志钢　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王宝筠 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 5/02(2006.01) (54)发明名称 一种语义相关性检索模型的确定方法及装 置 (57)摘要 本申请公开了一种语义相关性检索模型的 确定方法及装置， 通过对预训练语料进行整词遮 盖处理获得的预训练样本， 对初始 语言模型进行 预训练， 调整完成预训练的初始 语言模型获得语 义相关性的初始 检索模型； 通过包括样本标签的 训练样本对初始 检索模型进行训练， 获得语义相 关性的目标检索模型。 其中， 预训练基于上下文 语义信息 预测被遮盖处理的部分， 由此学习目标 检索词和检索结果的语义相关性知识； 通过训练 样本进行进一步学习检索词和检索结果的语义 相关性知识。 相较于现有技术中基于检索词与检 索结果的字面匹配度返回检索结果的检索方式， 能够基于二者的语义相关性进行检索结果的返 回， 提高返回检索结果与检索词之间整体匹配 度。 权利要求书2页 说明书7页 附图2页 CN 114722149 A 2022.07.08 CN 114722149 A 1.一种语义相关性检索模型的确定方法， 其特 征在于， 所述方法包括： 构建由目标检索词和检索结果组成的预训练语料； 通过对所述预训练语料进行整词遮盖处 理， 获得预训练样本； 根据所述预训练样本对初始语言模型进行预训练， 基于对所述预训练样本 中被遮盖部 分的预测结果与所述被遮盖 部分之间的差异对所述初始语言模型进行参数调整； 调整完成预训练的所述初始语言模型 得到语义相关性的初始检索模型； 获取包括样本标签的训练样本； 所述训练样本的样本标签用于标识所述训练样本 中的 检索词和检索结果的相关性； 根据所述训练样本对所述初始检索模型进行训练， 根据对所述训练样本的训练结果和 所述训练样本的样本标签之 间的差异对所述初始检索 模型进行参数调整， 获得语义相关性 的目标检索模型。 2.根据权利要求1所述的方法， 其特征在于， 所述训练样本包括第 一训练样本和第 二训 练样本； 所述第一训练样本为标注样本和后验样本中的一类样本， 所述第二训练样本为所 述标注样本和所述后验样本中除了所述第一训练样本的另一类样本； 则， 所述根据所述训练样本对所述初始检索模型进行训练， 根据对所述训练样本的训 练结果和所述训练样本的样本标签之 间的差异对所述初始检索 模型进行参数调整， 获得语 义相关性的目标检索模型， 包括： 根据所述第 一训练样本对所述初始检索模型进行训练， 根据对所述第 一训练样本的训 练结果和所述第一训练样本的样本标签之 间的差异对所述初始检索模型进 行参数调整， 获 得语义相关性的第一目标检索模型； 根据所述第 二训练样本对所述第 一目标检索模型进行训练， 根据对所述第 二训练样本 的检测结果和所述第二训练样本的样本标签之间的差异对所述第一目标检索模型进行参 数调整， 获得语义相关性的第二目标检索模型； 将所述第二目标检索模型作为所述语义相关性的目标检索模型。 3.根据权利要求2所述的方法， 其特征在于， 所述标注样本为包括标注了样本标签的数 据， 所述标注样本的样本标签用于标识所述标注样本中的检索词和检索结果的相关性； 所 述后验样本由包括样本标签的正例样本和负例样本组成， 所述正例样本的样本标签用于标 识所述正例样本中的检索结果与目标检索词相关， 所述负例样本的样本标签用于标识所述 负例样本中的检索结果与所述目标检索词不相关。 4.根据权利要求3所述的方法， 其特 征在于， 所述后验样本通过如下 方式构建： 获取所述目标检索词的检索结果； 基于所述检索结果中点击率大于预设阈值的检索结果构建所述 正例样本； 基于所述检索结果中点击率小于或等于所述预设阈值的检索结果构建所述负例样本 。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述检索结果中点击率小于或等 于所述预设阈值的检索结果构建所述负例样本， 包括： 确定与所述目标检索词相似度大于预设相似度的待定检索词； 根据所述待定检索词的检索结果构建所述负例样本 。 6.根据权利要求4所述的方法， 其特征在于， 所述标注样本、 所述正例样本和所述负例 样本均采用三元组格式， 表示样本中的检索词、 检索结果以及样本标签。权　利　要　求　书 1/2 页 2 CN 114722149 A 27.根据权利要求1所述的方法， 其特征在于， 在所述获得语义相关性的目标检索模型之 后， 还包括： 基于模型压缩 对所述目标检索模型进行加速优化处 理。 8.根据权利要求7所述的方法， 其特征在于， 所述基于模型压缩对所述目标检索模型进 行处理加速优化， 包括： 基于模型蒸馏、 模型量 化或模型剪枝对所述目标模型进行加速优化处 理。 9.根据权利要求1 ‑8中任意一项所述的方法， 其特征在于， 所述初始语言模型为BERT ‑ wwm模型。 10.一种语义相关性检索模型的确定装置， 其特征在于， 所述装置包括构建单元、 处理 单元、 预训练单 元、 调整单 元、 获取单元和训练单 元： 所述构建单 元， 用于构建由目标检索词和检索结果组成的预训练语料； 所述处理单元， 用于通过对所述预训练语料进行整词遮盖处 理， 获得预训练样本； 所述预训练单元， 用于根据所述预训练样本对初始语言模型进行预训练， 基于对所述 预训练样本中被遮盖部分的预测结果与所述被遮盖部分之间的差异对所述初始语言模型 进行参数调整； 所述调整单元， 用于调整完成预训练 的所述初始语言模型得到语义相关性的初始检索 模型； 所述获取单元， 用于获取包括样本标签的训练样本； 所述训练样本的样本标签用于标 识所述训练样本中的检索词和检索结果的相关性； 所述训练单元， 用于根据所述训练样本对所述初始检索模型进行训练， 根据对所述训 练样本的训练结果和所述训练样本的样本标签之间的差异对所述初始检索模型进行参数 调整， 获得语义相关性的目标检索模型。权　利　要　求　书 2/2 页 3 CN 114722149 A 3