(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653447.5 (22)申请日 2021.12.3 0 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 李科浇　周波　王凡　何径舟　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 杜月 (51)Int.Cl. G06F 16/9538(2019.01) G06K 9/62(2022.01) G06N 3/12(2006.01) (54)发明名称 推荐系统排序方法、 参数预测模型训练方法 及装置 (57)摘要 本申请公开了一种推荐系统排序方法、 参数 预测模型训练方法及装置， 涉及数据处理技术领 域， 尤其涉及大数据及深度学习领域。 具体实现 方案为： 响应于接收到的搜索请求， 获取召回的 待排序内容集合； 获取待排序内容集合中各待排 序内容各自的推荐指标数据； 获取与搜索请求对 应的场景特征信息； 根据场景特征信息， 获取多 项式多目标排序公式的多个目标可调参数； 基于 多项式多目标排序公式， 根据推荐指标数据和多 个目标可调参数对待排序内容集合中的待排序 内容进行排序。 通过本申请的技术方案， 可在用 户同意的情况下， 基于待排序内容的多种特征生 成目标可调参数参数， 以对待排序内容进行排 序， 从而实现同时对多个排序目标的优化， 提升 排序结果 准确度。 权利要求书6页 说明书11页 附图5页 CN 114417194 A 2022.04.29 CN 114417194 A 1.一种推荐系统内容 排序方法， 包括： 响应于接收到的搜索请求， 获取召回的待排序内容 集合； 获取所述待排序内容 集合中各待排序内容各自的推荐指标 数据； 获取与所述搜索请求对应的场景 特征信息； 根据所述场景 特征信息， 获取多 项式多目标排序公式的多个目标 可调参数； 基于所述多项式多目标排序公式， 根据所述推荐指标数据和所述多个目标可调参数对 所述待排序内容 集合中的待排序内容进行排序。 2.根据权利要求1所述的方法， 其中， 所述根据所述场景特征信息， 获取多项式多目标 排序公式的多个目标 可调参数， 包括： 将所述场景特征信 息输入至预设的参数预测模型， 获得所述参数预测模型输出的所述 多项式多目标排序公式的多个目标 可调参数； 其中， 所述参数预测模型已经学习得到场景特征信 息与多项式多目标排序公式的参数 之间的映射关系。 3.根据权利要求2所述的方法， 其中， 所述参数预测模型包括嵌入层、 拼接层和全连接 层； 所述将所述场景特征信息输入至预设的参数预测模型， 获得所述参数预测模型输出 的 所述多项式多目标排序公式的多个目标 可调参数， 包括： 基于所述嵌入层 分别对所述场景特征信 息中各特征进行编码， 获得所述各特征的各自 向量编码； 基于所述拼接层将所述各特征的各自向量编码进行拼接， 将拼接后得到的向量编码确 定为所述场景 特征信息的向量编码； 将所述场景特征信 息的向量编码输入至所述全连接层， 获得所述多项式多目标排序公 式的多个目标 可调参数。 4.根据权利要求2或3所述的方法， 还 包括： 基于扰动模型进行离线异步训练， 并基于所述离线异步训练的结果， 更新部署在线上 的所述参数预测模型的模型参数。 5.根据权利要求4所述的方法， 其中， 所述基于扰动模型进行离线异步训练， 并基于所 述离线异步训练的结果， 更新部署在线上的所述 参数预测模型的模型参数， 包括： 获取部署在线上的所述 参数预测模型的日志信息； 对所述日志信 息进行解析， 获得每次搜索请求的搜索特征和对应的扰动模型的随机种 子Key； 根据所述扰动模型的随机种子K ey还原扰动 后的模型参数； 根据所述每次搜索请求的搜索特征和所述随机种子Key对应的样本数量， 计算评估扰 动后的模型参数的表现效果 值； 采用进化策略算法， 根据所述扰动模型的随机种子Key和所述表现效果值， 更新部署在 线上的所述 参数预测模型的模型参数。 6.根据权利要求1所述的方法， 其中， 所述基于所述多项式多目标排序公式， 根据所述 推荐指标数据和所述多个目标可调参数对所述待排序内容集合中的待排序内容进 行排序， 包括： 将每个所述待排序内容的推荐指标数据和所述多个目标可调参数， 带入所述多项式多权　利　要　求　书 1/6 页 2 CN 114417194 A 2目标排序公式， 计算每 个所述待排序内容的推荐排序得分； 基于所述推荐排序得分对所述待排序内容 集合中的待排序内容进行排序。 7.根据权利要求6所述的方法， 其中， 所述多 项式多目标排序公式的表示如下： 其中， Wij为所述多个目标可调 参数； ctr、 dlctr及cpm均为所述推荐指标数据； Wcpm为固 定系数。 8.一种参数预测模型训练方法， 其中， 所述参数预测模型用于推荐系统内容排序场景， 所述方法包括： 获取搜索场景数据和所述搜索场景数据的标签数据； 其中， 所述标签数据为应用于所 述搜索场景 数据的多 项式多目标排序公式 中各可调参数的标签值； 提取所述搜索场景 数据中的场景 特征信息； 将所述场景特征信 息输入至初始模型， 获得所述多项式多目标排序公式中各可调参数 的预测值； 根据所述各 可调参数的预测值和所述各 可调参数的标签值， 生成损失值； 根据所述损 失值对所述初始模型进行训练， 获得模型参数， 并根据所述模型参数生成 参数预测模型。 9.根据权利要求8所述的方法， 其中， 所述初始模型包括嵌入层、 拼接层和全连接层； 所 述将所述场景特征信息输入至初始模型， 获得所述多项式多目标排序公式中各可调参数的 预测值， 包括： 基于所述嵌入层 分别对所述场景特征信 息中各特征进行编码， 获得所述各特征的各自 向量编码； 基于所述拼接层将所述各特征的各自向量编码进行拼接， 将拼接后得到的向量编码确 定为所述场景 特征信息的向量编码； 将所述场景特征信 息的向量编码输入至所述全连接层， 获得所述多项式多目标排序公 式中各可调参数的预测值。 10.根据权利要求8或9所述的方法， 还 包括： 基于扰动模型进行离线异步训练， 并基于所述离线异步训练的结果， 更新部署在线上 的所述参数预测模型的模型参数。 11.根据权利要求10所述的方法， 其中， 所述基于扰动模型进行离线异步训练， 并基于 所述离线异步训练的结果， 更新部署在线上的所述 参数预测模型的模型参数， 包括： 获取部署在线上的所述 参数预测模型的日志信息； 对所述日志信 息进行解析， 获得每次搜索请求的搜索特征和对应的扰动模型的随机种 子Key； 根据所述扰动模型的随机种子K ey还原扰动 后的模型参数； 根据所述每次搜索请求的搜索特征和所述随机种子Key对应的样本数量， 计算评估扰 动后的模型参数的表现效果 值； 采用进化策略算法， 根据所述扰动模型的随机种子Key和所述表现效果值， 更新部署在权　利　要　求　书 2/6 页 3 CN 114417194 A 3