(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111175935.X (22)申请日 2021.10.09 (71)申请人 京东科技信息技 术有限公司 地址 100000 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼6层 601 (72)发明人 王阳阳　吴良庆　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 钱娜 (51)Int.Cl. G06N 20/00(2019.01) G06F 9/50(2006.01) G06F 11/36(2006.01) (54)发明名称 一种模型训练上线方法、 装置、 存储介质和 设备 (57)摘要 本申请公开了一种模型训练上线方法、 装 置、 存储介质和设备， 在接收到用户输入的测试 版本号的情况下， 将与测试版本号对应的待上线 模型， 标识为测试模型， 以及将测试模型的评估 值， 标识为测试评估值。 在测试评估值大于目标 评估值、 且接收到用户的测试指令的情况下， 启 动预设的算法服务对测试模型和当前上线的模 型进行AB测试， 得到测试模型的测试成绩， 以及 当前上线的模 型的测试成绩。 在测试模 型的测试 成绩， 高于当前上线的模型的测试成绩的情况 下， 对当前上线的模型进行内存释放， 并将测试 模型的状态更新为上线。 利用本申请所示方案， 模型的训练过程和上线过程均无需采取信息同 步机制， 也无需人工参与， 能有效减少模型训练 上线的人力成本 。 权利要求书2页 说明书9页 附图2页 CN 113919506 A 2022.01.11 CN 113919506 A 1.一种模型训练上线方法， 其特 征在于， 包括： 在接收到用户输入的测试版本号的情况下， 将与所述测试版本号对应的待上线模型， 标识为测试模型， 以及将所述测试模型 的评估值， 标识为测试评估值； 所述待上线模型， 以 及所述待上线模型的评估值， 均通过对待训练模型进行训练所 得到； 在所述测试评估值大于目标评估值、 且接收到用户的测试指令的情况下， 启动预设的 算法服务对所述测试模型和所述当前上线的模型进 行AB测试， 得到所述测试模 型的测试成 绩， 以及所述当前上线的模型 的测试成绩； 所述 目标评估值基于利用测试集对当前上线的 模型进行训练所 得到； 在所述测试模型的测试成绩， 高于所述当前上线的模型的测试成绩的情况下， 对所述 当前上线的模型进行内存释放， 并将所述测试模型的状态更新 为上线。 2.根据权利要求1所述的方法， 其特征在于， 所述待上线模型， 以及所述待上线模型的 评估值， 均通过对待训练模型进行训练所 得到， 包括： 基于待训练模型的类型和参数， 创建所述待训练模型的训练任务， 并将所述待训练模 型的训练语料存 储至云端； 将所述训练任务发送给离线图形处理器， 触发所述离线图形处理器从所述云端获取所 述训练语料， 并根据待所述类型、 所述参数和所述训练语料， 对所述待训练模型进行训练， 得到待上线模型， 以及所述待上线模型 的评估值； 所述评估值基于利用测试集对所述待上 线模型进行训练所 得到； 为所述待上线模型设置状态标签以及版本号， 并将所述待上线模型的信 息存储至预设 的模型表中。 3.根据权利要求2所述的方法， 其特征在于， 所述基于待训练模型的类型和参数， 创建 所述待训练模型的训练任务， 包括： 获取待训练模型的类型、 参数和训练语料； 为所述待训练模型设置状态标签， 并将所述待训练模型的训练语料存 储至云端； 将所述待训练模型的类型、 参数和状态标签， 存 储至数据库中； 在接收到离线图形处理器发送的访问请求的情况下， 基于所述待训练模型的类型和参 数， 创建所述待训练模型的训练任务， 并将所述待训练模型的状态更新 为训练中。 4.根据权利要求2所述的方法， 其特征在于， 所述为所述待上线模型设置状态标签以及 版本号， 并将所述待上线模型的信息存 储至预设的模型表中， 包括： 在接收到所述离线图形处理器发送的所述待上线模型以及所述评估值的情况下， 为所 述待上线模型设置版本号； 将所述待上线模型以及所述评估值存储至数据库中， 并将所述待训练模型的状态更新 为训练完成； 为所述待上线模型设置状态标签， 并将所述待上线模型的信息存储至预设的模型表 中； 将所述待上线模型存储至云端， 并通过预设前端界面， 向用户展示所述待上线模型以 及所述评估值。 5.根据权利要求2所述的方法， 其特征在于， 所述在接收到用户输入的测试版本号的情 况下， 将与所述测试版本号对应的待 上线模型， 标识 为测试模 型， 以及将所述测试模型的评权　利　要　求　书 1/2 页 2 CN 113919506 A 2估值， 标识为测试评估值， 包括： 预先将所述离线图形处理器发送的所述待上线模型、 所述待上线模型的评估值， 存储 至数据库中； 在接收到用户输入的测试版本号的情况下， 从所述数据库中选取与 所述测试版本号对 应的待上线模型， 标识为测试模型， 并将所述测试模型的评估值， 标识为测试评估值； 将所述测试模型的状态更新 为待测试。 6.根据权利要求1所述的方法， 其特征在于， 所述在所述测试评估值大于目标评估值、 且接收到用户的测试指 令的情况下， 启动预设的算法服务对所述测试模型和所述当前上线 的模型进行AB测试， 得到所述测试模 型的测试成绩， 以及所述当前上线的模型的测试成绩， 包括： 将所述测试评估值与目标评估值进行比较； 在所述测试评估值大于所述目标评估值的情况下， 判断当前上线的模型是否为所述测 试模型； 若所述当前上线的模型为所述测试模型， 则提示用户所述测试模型处于上线状态， 并 将所述测试模型的状态更新 为上线； 若所述当前上线的模型不为所述测试模型， 则在接收到所述用户的测试指令的情况 下， 启动预设的算法服务对所述测试模型和所述当前上线的模型进行AB测试， 得到所述测 试模型的测试成绩， 以及所述当前 上线的模型的测试成绩。 7.根据权利要求1所述的方法， 其特 征在于， 还 包括： 在所述测试模型的测试成绩， 低于所述当前上线的模型的测试成绩的情况下， 对所述 测试模型进行内存释放， 并将所述测试模型的信息从所述模型表中删除。 8.一种模型训练上线装置， 其特 征在于， 包括： 标识单元， 用于在接收到用户输入的测试版本号的情况下， 将与所述测试版本号对应 的待上线模型， 标识为测试模型， 以及将所述测试模型的评估值， 标识为测试评估值； 所述 待上线模型， 以及所述待上线模型的评估值， 均通过对待训练模型进行训练所 得到； 测试单元， 用于在所述测试评估值大于目标评估值、 且接收到用户的测试指令的情况 下， 启动预设的算法服务对所述测试模型和所述当前上线的模型进行AB测试， 得到所述测 试模型的测试成绩， 以及所述当前上线的模型 的测试成绩； 所述 目标评估值基于利用测试 集对当前 上线的模型进行训练所 得到； 上线单元， 用于在所述测试模型的测试成绩， 高于所述当前上线的模型的测试成绩的 情况下， 对所述当前 上线的模型进行内存释放， 并将所述测试模型的状态更新 为上线。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的程序， 其中， 所述 程序执行权利要求1 ‑7任一所述的模型训练上线方法。 10.一种模型训练上线设备， 其特征在于， 包括： 处理器、 存储器和总线； 所述处理器与 所述存储器通过 所述总线连接； 所述存储器用于存储程序， 所述处理器用于运行程序， 其中， 所述程序运行时执行权利 要求1‑7任一所述的模型训练上线方法。权　利　要　求　书 2/2 页 3 CN 113919506 A 3