(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202110173151.7 (22)申请日 2021.02.08 (66)本国优先权数据 202011196989.X 2020.10.31 CN (71)申请人 华为云计算 技术有限公司 地址 550025 贵州省贵阳市贵 安新区黔中 大道交兴功路华 为云数据中心 (72)发明人 魏龙辉　谢凌曦　何建忠　田奇　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/08(2006.01) G06K 9/62(2022.01)G06F 16/58(2019.01) G06F 16/583(2019.01) (54)发明名称 一种生成预训练人工智能模型的方法及装 置 (57)摘要 本申请实施例涉及一种生成预训练AI模型 的方法， 包括： 确定多个原始图像， 根据表观特征 提取模型确定各个原始图像所对应的表观特征。 之后， 根据各个原始图像对应的表观特征和原始 标签， 对每个原始图像生成相应的伪标签。 然后， 采用携带伪标签的原始数据对第一初始AI模型 进行训练， 得到预训练AI模型。 本申请通过采用 具有较强泛化能力的表观特征提取模 型， 提取原 始图像的表观特征， 再基于表观特征结合原始图 像预先存储的原始标签生 成伪标签。 伪标签则具 备了表观特征和人工语义， 使得采用携带伪标签 的原始图像训练得到的预训练AI模型继承了具 有泛化能力的表观特征， 又具有细粒度更丰富的 特征捕捉能力。 权利要求书3页 说明书16页 附图5页 CN 114462290 A 2022.05.10 CN 114462290 A 1.一种生成预训练人工智能AI模型的方法， 其特 征在于， 所述方法包括： 获取多个原 始图像； 根据所述多个原 始图像和表 观特征提取模型， 确定所述多个原 始图像的表 观特征； 根据每个原始图像的表观特征以及每个原始图像预先设定的原始标签， 确定每个原始 图像的伪标签； 采用携带所述伪标签的所述多个原始图像对第一初始AI模型进行训练， 得到预训练AI 模型。 2.如权利要求1所述的方法， 其特征在于， 所述根据每个原始图像的表观特征以及每个 原始图像预 先设定的原 始标签， 确定每 个原始图像的伪标签包括： 针对每个原始图像， 确定第 一表观特征与第二表观特征的相似度， 其中， 所述第 一表观 特征为所述原始图像的表观特征， 第二表观特征为所述多个原始图像中与所述原始图像具 有相同原 始标签的至少一个其它原 始图像的表 观特征； 确定所述原始图像以及与所述第一表观特征的相似度满足预设条件的第二表观特征 对应的其它原 始图像的伪标签。 3.如权利要求2所述的方法， 其特征在于， 所述确定所述原始图像以及与所述第 一表观 特征的相似度满足预设条件的第二表 观特征对应的其它原 始图像的伪标签， 包括： 根据所述第一表观特征与所述第二表观特征的相似度， 确定所述原始图像和k个其它 原始图像的伪标签， 其中， 所述k个其他原始图像为相似度排序中的前k个相似度高的其他 原始图像或者 为相似度大于预设阈值的其 他原始图像， 所述 k为正整数。 4.如权利要求2或3所述的方法， 其特征在于， 所述原始图像以及与所述第一表观特征 的相似度满足预设条件的第二表观特征对应的其它原始图像的伪标签相同， 其中， 所述伪 标签为所述原 始标签的子类。 5.如权利要求2 ‑4任意一项所述的方法， 其特征在于， 所述确定第一表观特征与第二表 观特征的相似度， 包括： 针对每个原始图像， 根据所述表观特征提取模型， 确定所述第一表观特征和所述第二 表观特征； 确定所述第 一表观特征和所述第 二表观特征的余弦距离， 并将所述余弦距离作为所述 第一表观特征与所述第二表 观特征的相似度。 6.如权利要求1 ‑5任意一项所述的方法， 其特征在于， 所述采用携带所述伪标签的所述 多个原始图像对第一初始 AI模型进行训练， 得到预训练AI模型， 包括： 将携带所述伪标签的所述多个原始图像作为所述第 一初始AI模型的输入， 采用对比损 失函数对所述第一初始 AI模型中的网络参数进行迭代更新， 得到所述预训练AI模型。 7.如权利要求1 ‑8任意一项所述的方法， 其特征在于， 所述表观特征提取模型为采用多 个预采集的图像对第二初始 AI模型进行自监 督学习训练确定的。 8.如权利要求1 ‑9任意一项所述的方法， 其特 征在于， 所述方法还 包括： 获取应用场景 下的多个训练数据； 采用所述多个训练数据对所述预训练AI模型进行训练， 确定针对所述应用场景的目标 AI模型。 9.一种生成预训练人工智能模型AI的装置， 其特 征在于， 所述装置包括：权　利　要　求　书 1/3 页 2 CN 114462290 A 2获取单元， 用于获取多个原 始图像； 伪标签生成单元， 用于根据所述多个原始图像和表观特征提取模型， 确定所述多个原 始图像的表 观特征； 以及， 根据每个原始图像的表观特征以及每个原始图像预先设定的原始标签， 确定每个原始 图像的伪标签； 第一训练单元， 用于采用携带所述伪标签的所述多个原始图像对第一初始AI模型进行 训练， 得到预训练AI模型。 10.如权利要求9所述的装置， 其特 征在于， 所述伪标签生成单 元还用于： 针对每个原始图像， 确定第 一表观特征与第二表观特征的相似度， 其中， 所述第 一表观 特征为所述原始图像的表观特征， 第二表观特征为所述多个原始图像中与所述原始图像具 有相同原 始标签的至少一个其它原 始图像的表 观特征； 确定所述原始图像以及与所述第一表观特征的相似度满足预设条件的第二表观特征 对应的所述 其它原始图像的伪标签。 11.如权利要求10所述的装置， 其特 征在于， 所述伪标签生成单 元还用于： 根据所述第一表观特征与所述第二表观特征的相似度， 确定所述原始图像和k个所述 其它原始图像的伪标签， 其中， 所述k个其他原始图像为相似度排序中的前k个相似度高的 其他原始图像或者 为相似度大于预设阈值的其 他原始图像， 所述 k为正整数。 12.如权利要求10或11所述的装置， 其特征在于， 所述原始图像以及与所述第 一表观特 征的相似度满足预设条件的第二表观特征对应的其它原始图像的伪标签相同， 其中， 所述 伪标签为所述原 始标签的子类。 13.如权利要求10 ‑12任意一项所述的装置， 其特 征在于， 所述伪标签生成单 元还用于： 针对每个原始图像， 根据所述表观特征提取模型， 确定所述第一表观特征和所述第二 表观特征； 确定所述第 一表观特征和所述第 二表观特征的余弦距离， 并将所述余弦距离作为所述 第一表观特征与所述第二表 观特征的相似度。 14.如权利要求9 ‑13任意一项所述的装置， 其特 征在于， 所述第一训练单 元还用于： 将携带所述伪标签的所述多个原始图像作为所述第 一初始AI模型的输入， 采用对比损 失函数对所述第一初始 AI模型中的网络参数进行迭代更新， 得到所述预训练AI模型。 15.如权利要求9 ‑14任意一项所述的装置， 其特 征在于， 所述装置还 包括： 第二训练单元， 用于采用多个预采集的图像对第二初始AI模型进行自监督学习训练， 确定所述表 观特征提取模型。 16.如权利要求1 1‑19任意一项所述的装置， 其特 征在于， 所述获取 单元还用于： 获取应用场景 下的多个训练数据； 所述装置还 包括： 第三训练单元， 用于采用所述多个训练数据对所述预训练AI模型进行训练， 确定针对 所述应用场景的目标AI模型。 17.一种计算设备， 其特 征在于， 包括： 处理器和存 储器； 当所述处理器读取并执行存储在所述存储器中的指令时， 所述计算设备执行上述权利权　利　要　求　书 2/3 页 3 CN 114462290 A 3