(19)中华 人民共和国 国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202111683778.3
(22)申请日 2021.12.28
(71)申请人 北京百度网讯科技有限公司
地址 100085 北京市海淀区上地十街10号
百度大厦2层
(72)发明人 于茜 宋云蛟 刘宇豪 张莹莹
(74)专利代理 机构 北京英赛 嘉华知识产权代理
有限责任公司 1 1204
代理人 王达佐 马晓亚
(51)Int.Cl.
G06V 10/776(2022.01)
G06K 9/62(2022.01)
(54)发明名称
用于检测模型的方法和装置
(57)摘要
本申请公开了用于检测模型的方法和装置,
涉及智能检测、 系统优化技术领域。 该方法包括:
获取线上请求数据; 采用旧版本预测模型确定请
求数据的第一预测结果; 采用新版本预测模型确
定请求数据的第二预测结果; 对比第一预测结果
与第二预测结果, 并根据对比结果确定针对新版
本预测模型的检测结果。 采用该方法可以提高检
测预测模型的准确性。
权利要求书2页 说明书9页 附图6页
CN 114419403 A
2022.04.29
CN 114419403 A
1.一种用于检测模型的方法, 包括:
获取线上请求数据;
采用旧版本预测模型确定所述请求数据的第一预测结果;
采用新版本预测模型确定所述请求数据的第二预测结果;
对比所述第 一预测结果与 所述第二预测结果, 并根据对比结果确定针对所述新版本预
测模型的检测结果。
2.根据权利要求1所述的方法, 其中, 当前检测环境为线上检测环境, 当前线上运行的
模型为所述旧版本预测模型, 所述采用旧版本预测模型确定所述请求数据 的第一预测结
果, 包括:
采用所述请求数据请求线上运行的模型, 并获得所述旧版本预测模型确定的所述第 一
预测结果;
所述采用新版本预测模型确定所述请求数据的第二预测结果, 包括:
在所述请求数据中增加与 所述新版本预测模型相关的配置数据, 采用更新后的请求数
据请求线上运行的模型, 并获得 所述新版本预测模型确定的所述第二预测结果。
3.根据权利要求1所述的方法, 其中, 当前检测环境为离线检测环境, 采用所述请求数
据请求线上运行的模型, 并获得 所述旧版本预测模型确定的所述第一预测结果, 包括:
获取线上运行环境并获得离线运行环境, 初始化离线运行环境, 基于初始化后的离线
运行环境确定所述请求数据的所述第一预测结果;
所述采用新版本预测模型确定所述请求数据的第二预测结果, 包括:
采用所述新版本预测模型的参数更新所述离线运行环境, 基于更新后的离线运行环境
确定所述请求数据的所述第二预测结果。
4.根据权利要求1所述的方法, 其中, 所述第 一预测结果中包括所述请求数据在各个维
度下的预测结果, 所述第二预测结果中包括所述请求数据在各个维度下的预测结果;
所述对比所述第 一预测结果与所述第 二预测结果, 并根据对比结果确定针对所述新版
本预测模型的检测结果, 包括:
针对所述各个维度中的每一个维度, 将所述第 一预测结果中包括的所述请求数据在该
维度下的预测结果、 与所述第二预测结果中包括的所述请求数据在该维度下的预测结果进
行比对, 并获得比对结果;
根据针对多个维度获得的多个比对结果, 确定针对所述 新版本预测模型的检测结果。
5.根据权利要求1所述的方法, 其中, 所述对比所述第一预测结果与所述第二预测结
果, 并根据对比结果确定针对所述 新版本预测模型的检测结果, 包括:
响应于确定所述第一预测结果与所述第二预测结果之间的波动差距小于预设波动阈
值, 确定所述 新版本预测模型通过检测; 和/或,
响应于确定所述第一预测结果的分布与所述第二预测结果的分布之间的相似度大于
预设相似度阈值, 确定所述 新版本预测模型通过检测。
6.一种用于检测模型的装置, 包括:
获取单元, 被配置为获取线上请求数据;
第一预测单 元, 被配置为采用旧版本预测模型确定所述请求数据的第一预测结果;
第二预测单 元, 被配置为采用新版本预测模型确定所述请求数据的第二预测结果;权 利 要 求 书 1/2 页
2
CN 114419403 A
2检测单元, 被配置为对比所述第一预测结果与所述第二预测结果, 并根据对比结果确
定针对所述 新版本预测模型的检测结果。
7.根据权利要求6所述的装置, 其中, 当前检测环境为线上检测环境, 当前线上运行的
模型为所述旧版本预测模型, 所述第一预测单 元, 包括:
第一预测模块, 被配置为采用所述请求数据请求线上运行的模型, 并获得所述旧版本
预测模型确定的所述第一预测结果;
所述第二预测单 元, 包括:
第二预测模块, 被配置为在所述请求数据中增加与所述新版本预测模型相关的配置数
据, 采用更新后的请求数据请求线上运行 的模型, 并获得所述新版本预测模型确定的所述
第二预测结果。
8.根据权利要求6所述的装置, 其中, 当前检测环境为离线检测环境, 第 一预测单元, 包
括:
第三预测模块, 被配置为获取线上运行环境并获得离线运行环境, 初始化离线运行环
境, 基于初始化后的离线运行环境确定所述请求数据的所述第一预测结果;
所述第二预测单 元, 包括:
第四预测模块, 被配置为采用所述新版本预测模型的参数更新所述离线运行环境, 基
于更新后的离线运行环境确定所述请求数据的所述第二预测结果。
9.根据权利要求6所述的装置, 其中, 所述第 一预测结果中包括所述请求数据在各个维
度下的预测结果, 所述第二预测结果中包括所述请求数据在各个维度下的预测结果;
所述检测单 元, 包括:
检测模块, 被配置为针对所述各个维度中的每一个维度, 将所述第一预测结果中包括
的所述请求数据在该维度下的预测结果、 与所述第二预测结果中包括的所述请求数据在该
维度下的预测结果进行比对, 并获得比对结果;
确定模块, 被配置为根据针对多个维度获得的多个比对结果, 确定针对所述新版本预
测模型的检测结果。
10.根据权利要求6所述的装置, 其中, 所述检测单 元, 包括:
第一检测模块, 被配置为响应于确定所述第 一预测结果与所述第 二预测结果之间的波
动差距小于预设波动阈值, 确定所述 新版本预测模型通过检测; 和/或,
第二检测模块, 被配置为响应于确定所述第 一预测结果的分布与所述第 二预测结果的
分布之间的相似度大于预设相似度阈值, 确定所述 新版本预测模型通过检测。
11.一种电子设备, 包括:
至少一个处 理器; 以及
与所述至少一个处 理器通信连接的存 储器; 其中,
所述存储器存储有可被所述至少一个处理器执行的指令, 所述指令被所述至少一个处
理器执行, 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质, 其中, 所述计算机指令用于
使所述计算机执 行权利要求1 ‑5中任一项所述的方法。
13.一种计算机程序产品, 包括计算机程序, 所述计算机程序在被处理器执行时实现根
据权利要求1 ‑5中任一项所述的方法。权 利 要 求 书 2/2 页
3
CN 114419403 A
3
专利 用于检测模型的方法和装置
文档预览
中文文档
18 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-19 00:20:23上传分享