(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210778916.4 (22)申请日 2022.06.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王海峰　田浩　吴华　吴甜　刘璟　 丁宇辰　曲瑛琪　妥明翔　 (74)专利代理 机构 北京鸿德 海业知识产权代理 有限公司 1 1412 专利代理师 谷春静 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06N 20/00(2019.01) (54)发明名称 模型更新方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了模型更新方法、 装置、 电子设 备及存储介质， 涉及深度学习以及自然语言处理 等人工智能领域， 其中的方法可包括： 针对评估 数据集中的待处理数据， 分别利用待优化模型以 及工具集中的工具获取对应的处理结果， 根据所 述处理结果比对待优化模型以及工具的处理效 果优劣， 所述待处理数据属于至少两个不同的类 别； 根据比对 结果确定出待优化类别以及对应的 优势工具， 所述待优化类别为工具的处理效果优 于待优化模 型的类别， 所述优势工具为处理效果 优于待优化模 型的工具； 基于对应的优势工具生 成待优化类别的训练数据； 利用所述训练数据对 待优化模型进行更新。 应用本公开所述方案， 可 提升模型性能。 权利要求书4页 说明书11页 附图2页 CN 115168577 A 2022.10.11 CN 115168577 A 1.一种模型 更新方法， 包括： 针对评估数据集中的待处理数据， 分别利用待优化模型以及工具集中的工具获取对应 的处理结果， 根据所述处理结果比对所述待优化模型以及所述工具 的处理效果优劣， 所述 待处理数据属于 至少两个不同的类别； 根据比对结果确定出待优化类别以及对应的优势工具， 所述待优化类别为工具的处理 效果优于所述待优化模型的类别， 所述优势工具为处 理效果优于所述待优化模型的工具； 基于对应的优势工具生成所述待优化类别的训练数据； 利用所述训练数据对所述待优化模型进行 更新。 2.根据权利要求1所述的方法， 其中， 所述工具集中包括以下之一或任意组合： 所述待优化模型的历史版本模型， 所述待优 化模型的同类模 型， 所述待优化模型的同类系统， 词法工具， 句法工具， 知识库， 所述同类表 示具有相同功能。 3.根据权利要求1所述的方法， 其中， 所述评估数据集中还 包括： 各待处 理数据分别对应的正确的处 理结果； 所述分别利用待优化模型以及工具集中的工具获取对应的处理结果， 根据所述处理结 果比对所述待优化模型以及所述工具的处 理效果优劣包括： 利用所述待优化模型获取 所述评估数据集中的各待处 理数据对应的第一处 理结果； 针对所述工具集中的任一可独立运行的工具， 分别进行以下处理： 利用所述工具获取 所述评估数据集中的各待处理数据对应的第二处理结果， 基于所述正确的处理结果、 所述 第一处理结果以及所述第二处理结果， 确定出所述待优化模型与所述工具针对不同类别的 处理效果优劣。 4.根据权利要求3所述的方法， 其中， 所述确定出所述待优化模型与所述工具针对不同类别的处理效果优劣包括： 针对任一 类别， 分别基于所述评估数据集中属于所述类别的待处理数据对应的所述正确的处理结 果、 所述第一处理结果以及所述第二处理结果， 确定出所述待优化模型与所述工具 的处理 效果优劣； 所述根据比对结果确定出待优化类别以及对应的优势工具包括： 针对任一类别， 响应 于确定所述工具 的处理效果优于所述待优化模型， 将所述类别作为所述待优化类别， 并将 所述工具作为所述优势工具。 5.根据权利要求1所述的方法， 其中， 所述分别利用待优化模型以及工具集中的工具获 取对应的处理结果， 根据所述处理结果比对所述待优化模型以及所述工具的处理效果优劣 包括： 针对所述工具集中的任一不可独立运行的工具， 分别进行以下处理： 利用所述工具获 取所述评估数据集中的各待处理数据对应的第三处理结果， 并针对任一待处理数据， 分别 利用所述待优化模型对所述第三处理结果进 行正确与否的验证， 响应于确定验证结果为不 正确， 获取人工判定结果， 根据所述人工判定结果确定出所述待优化模型与所述工具针对 所述待处 理数据的处 理效果优劣。 6.根据权利要求5所述的方法， 其中， 所述根据所述人工判定结果确定出所述待优化模型与所述工具针对所述待处理数据权　利　要　求　书 1/4 页 2 CN 115168577 A 2的处理效果优劣包括： 响应于所述人工判定结果为所述第三处理结果正确， 确定所述工具 的处理效果优于所述待优化模型， 否则， 确定所述待优化模型的处 理效果优于所述工具； 所述根据比对结果确定出待优化类别以及对应的优势工具包括： 针对任一类别， 响应 于确定所述评估数据集中属于所述类别的待处理数据中、 所述工具的处理效果优于所述待 优化模型 的待处理数据的数量大于所述待优化模型的处理效果优于所述工具的待处理数 据的数量， 将所述类别作为所述待优化类别， 并将所述工具作为所述优势工具。 7.根据权利要求1～6中任一项所述的方法， 其中， 所述基于对应的优势工具生成所述 待优化类别的训练数据包括： 针对任一待优化类别， 分别进行以下处 理： 从数据库中获取属于所述待优化类别的待处 理数据； 响应于所述待优化类别对应的所述优势工具的数量为一， 根据获取到的待处理数据， 基于所述优势工具生成所述待优化类别的训练数据； 响应于所述待优化类别对应的所述优势工具的数量大于一， 根据获取到的待处理数 据， 分别基于各优势工具生成所述待优化类别的训练数据。 8.根据权利要求7所述的方法， 其中， 所述基于所述优势工具生成所述待优化类别的训 练数据包括： 针对获取到的各待处理数据， 利用所述优势工具获取对应的第 四处理结果， 并利用所 述待优化模型获取对应的第五处 理结果； 从获取到的各待处理数据中选出符合以下要求的待处理数据： 所述第四处理结果与 所 述第五处 理结果不一致； 基于选出的待处 理数据生成所述训练数据。 9.根据权利要求8所述的方法， 其中， 所述基于选出的待处理数据生成所述训练数据包 括： 结合所述选出的待处理数据以及针对所述选出的待处理数据的第四处理结果和/或第 五处理结果的人工标注结果， 生成所述训练数据。 10.根据权利要求1～6中任一项所述的方法， 还 包括： 根据获取到的人工评估结果生成训练数据， 所述人工评估结果为基于所述待优化模型 的用户行为日志生成的评估结果， 利用所述训练数据对所述待优化模型进行 更新。 11.一种模型更新装置， 包括： 效果比对模块、 信 息确定模块、 样本生成模块以及模型更 新模块； 所述效果比对模块， 用于针对评估数据集中的待处理数据， 分别利用待优化模型以及 工具集中的工具获取对应的处理结果， 根据所述处理结果比对所述待优化模型以及所述工 具的处理效果优劣， 所述待处 理数据属于 至少两个不同的类别； 所述信息确定模块， 用于根据比对结果确定出待优化类别以及对应的优势工具， 所述 待优化类别为工具的处理效果优于所述待优化模型的类别， 所述优势工具为处理效果优于 所述待优化模型的工具； 所述样本生成模块， 用于基于对应的优势工具生成所述待优化类别的训练数据； 所述模型 更新模块， 用于利用所述训练数据对所述待优化模型进行 更新。 12.根据权利要求1 1所述的装置， 其中，权　利　要　求　书 2/4 页 3 CN 115168577 A 3