(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210948097.3 (22)申请日 2022.08.08 (71)申请人 珠高智能科技 （深圳） 有限公司 地址 518133 广东省深圳市宝安区新 安街 道海滨社区N26区宝兴路21号万俊经 贸大厦504 (72)发明人 钟成　温展欧　郑创　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 冯俊峰 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 预训练模型的领域增强方法、 装置、 设备及 存储介质 (57)摘要 本发明实施例提供了预训练模型的领域增 强方法、 装置、 设备及存储介质， 所述方法包括： 获取与已训练领域场景相应的源域预训练模型， 以及与目标领域场景相应的目标域数据； 根据目 标域数据对源域预训练模型进行自监督对比学 习训练， 得到基于目标领域场景进行领域增强后 的目标域预训练模型。 当存在域偏移时， 可直接 使用与目标领域场景相应的目标域数据， 对源域 预训练模型进行自监督领域增强学习， 使得领域 增强后的目标域预训练模型能够在保留源域预 训练模型的基础上， 新增对垂直业务场景中环境 和目标的特征提取能力与解析能力， 提升目标域 各种目标业 务的业务效果。 权利要求书2页 说明书12页 附图2页 CN 115358410 A 2022.11.18 CN 115358410 A 1.一种预训练模型的领域增强方法， 其特 征在于， 所述方法包括： 获取与已训练领域场景相应的源域预训练模型， 以及与目标领域场景相应的目标域数 据； 所述源域预训练模型基于已训练领域场景 的数据集生成， 所述已训练领域场景 的数据 集与目标域数据不属于垂直 业务场景的场景 数据； 根据所述目标域数据对所述源域预训练模型进行自监督对比学习训练， 得到基于所述 目标领域场景进行 领域增强后的目标域预训练模型。 2.根据权利要求1所述的方法， 其特征在于， 所述目标域数据包括多种目标领域场景且 无标注的目标域数据； 所述自监 督对比学习训练基于训练模型进行 数据重建实现； 所述根据 所述目标域数据对所述源域预训练模型进行自监督对比学习训练， 得到基于 所述目标 领域场景进行 领域增强后的目标域预训练模型， 包括： 根据所述源域预训练模型的类型获取相应的训练框架； 在所述训练框架下， 根据所述多种目标领域场景且无标注的目标域数据， 训练所述源 域预训练模型对所述目标域数据进行数据重建， 得到进行领域增强后的目标域预训练模 型。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述多种目标领域场景且无标注 的目标域数据， 训练所述源域预训练模型对所述 目标域数据进行数据重建， 得到进行领域 增强后的目标域预训练模型， 包括： 对多个目标域数据进行部分遮挡， 生成遮挡数据； 训练所述源域预训练模型对所述遮挡数据进行重建， 得到目标域预训练模型。 4.根据权利要求3所述的方法， 其特征在于， 所述目标域数据包括图像数据； 所述对多 个目标域数据进行部分遮挡， 生成遮挡数据， 包括： 对多个图像数据拆分为至少一个图像块； 从所述至少一个图像块中， 随机获取目标图像块， 并对所述目标图像块进行随机遮挡 操作， 得到遮挡数据。 5.根据权利要求3所述的方法， 其特征在于， 所述训练所述源域预训练模型对所述遮挡 数据进行重建， 得到目标域预训练模型， 包括： 对信息缺失的遮挡数据进行编码， 得到针对所述目标 领域场景的特 征编码； 基于所述目标领域场景的特征编码对目标领域场景的遮挡数据进行重建， 得到信 息完 整的重建数据； 计算所述重建数据和所述目标域数据的均方误差损失， 根据所述均 方误差损失更新所 述源域预训练模型， 得到更新后的目标域预训练模型。 6.根据权利要求1所述的方法， 其特 征在于， 还 包括： 获取所述目标域预训练模型， 以及与所述目标领域场景的目标业务相应的标注业务数 据； 根据所述标注业务数据微调所述目标域预训练模型， 生产与 所述目标业务相应的业务 模型。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述已训练领域场景的数据集 包括自然场景的图像数据集， 所述与目标领域场景相应的目标域数据包括电网场景的图像 数据； 所述源域预训练模型包括与自然场景 的图像数据集相 应的自然场景处理模型， 所述权　利　要　求　书 1/2 页 2 CN 115358410 A 2基于所述目标领域场景进行领域增强后的目标域预训练模型包括基于电网场景进行领域 增强后的电网场景处理模型； 所述标注业务数据包括输电线路缺陷标注数据， 所述业务模 型包括用于进行输电线路缺陷检测的检测模型。 8.一种预训练模型的领域增强装置， 其特 征在于， 所述装置包括： 源域预训练模型获取模块， 用于获取与已训练领域场景相应的源域预训练模型； 所述 源域预训练模型基于已训练领域场景的数据集生成， 所述已训练领域场景的数据集与目标 域数据不属于垂直 业务场景的场景 数据； 目标域数据获取模块， 用于获取与目标领域场景相应的目标域数据； 领域增强模块， 用 于根据所述目标域数据对所述源域预训练模型进 行自监督对比学习训练， 得到基于所述目 标领域场景进行 领域增强后的目标域预训练模型。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器及存储在所述存储器上并能够在 所述处理器上运行 的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求1 至7中任一项所述预训练模型的领域增强方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储计算机程 序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述预训练模型的领域 增强方法的步骤。权　利　要　求　书 2/2 页 3 CN 115358410 A 3