(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210898194.6 (22)申请日 2022.07.28 (71)申请人 北京字跳网络技 术有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼2层0207 (72)发明人 张逸尘　郭明宇　冉蛟　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 专利代理师 鲁艳萍 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 3/00(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像识别模型训练与图像识别方法、 装置、 设备及介质 (57)摘要 本公开实施例公开了一种图像识别模型训 练与图像识别方法、 装置、 设备及介质。 所述训练 方法包括： 依据图像识别模型训练所需样本图像 执行图像风格转换训练任务； 依据图像风格转换 训练任务得到的风格转换后样 本图像， 控制图像 识别模型执行图像识别训练任务； 依据图像风格 转换训练任务与图像识别训练任务对图像识别 模型进行参数调整， 以得到收敛的图像识别模 型。 本公开方案， 通过引入图像风格转换训练任 务， 避免因特定风格的样本图像稀缺导致模型训 练数据量不足， 通过提供足量样 本图像参与模型 训练， 保证模型对敏感内容的检测识别能力， 在 模型训练时结合图像风格转换与图像识别情况 等多个维度来实现模型的训练更新， 提高模型对 敏感内容的检测准确度。 权利要求书3页 说明书20页 附图9页 CN 115100576 A 2022.09.23 CN 115100576 A 1.一种图像识别模型训练方法， 其特 征在于， 所述训练方法包括： 依据图像识别模型训练所需样本图像执 行图像风格转换训练任务； 依据所述图像风格转换训练任务得到的风格转换后样本图像， 控制所述图像识别模型 执行图像识别训练任务； 所述图像识别训练任务用于训练图像识别模型对敏感 内容的检测 识别能力； 依据所述图像风格转换训练任务与 所述图像识别训练任务， 对所述图像识别模型进行 参数调整， 以得到收敛的图像识别模型。 2.根据权利要求1所述的方法， 其特征在于， 依据图像识别模型训练所需样本图像执行 图像风格转换训练任务， 包括： 依据图像识别模型训练所需样本图像中的第 一样本图像， 从第 一风格向第 二风格执行 第一图像风格转换训练任务； 所述第一样本图像的起始图像风格为第一风格； 第二风格为 对图像识别模型进行训练以使图像识别模型检测识别时所能适用的期望图像风格； 依据图像识别模型训练所需样本图像中的第 二样本图像， 从第 二风格向第 二风格执行 第二图像风格转换训练任务； 所述第二样本图像的起始图像风格为第二 风格； 其中， 所述第 一图像风格转换训练任务用于提升从第 一风格向第 二风格进行图像风格 转换生成时的可靠度； 所述第二图像风格转换训练任务用于通过从第二风格向第一风格进 行图像风格转换生成， 对从第一风格向第二风格进行图像风格转换生成时的可靠度进 行辅 助提升。 3.根据权利要求2所述的方法， 其特征在于， 所述风格转换后样本图像包括针对所述第 一样本图像经从第一风格向第二风格执行第一图像风格转换训练任务所得到风格转换生 成的样本图像。 4.根据权利要求2所述的方法， 其特征在于， 所述第 一样本图像包括对具有第 一风格的 样本视频进行视频抽帧得到的至少两帧视频帧图像。 5.根据权利要求2所述的方法， 其特征在于， 所述第 二样本图像包括对具有第 二风格的 样本视频进行视频抽帧得到的至少两帧视频帧图像。 6.根据权利要求2所述的方法， 其特征在于， 依据图像识别模型训练所需样本图像 中的 第一样本图像， 从第一 风格向第二 风格执行第一图像风格转换训练任务， 包括： 将所述第一样本图像从第 一风格向第 二风格进行风格转换生成， 依据风格转换生成的 所述第一样本图像执行所述第一图像风格转换训练任务对应的第一风格判别训练子任务， 以得到第一风格判别训练子任务对应的损失函数值； 其中， 所述第一风格判别训练子任务 用于训练对从第一 风格向第二 风格进行风格转换 所生成图像的识别能力； 将风格转换生成的所述第 一样本图像从第 二风格向第 一风格进行风格转换还原， 依据 风格转换还原的所述第一样本图像与风格转换生成前的所述第一样本图像执行第一图像 风格转换训练任务对应的第一风格转换训练子任务， 以得到第一风格转换训练子任务的损 失函数值； 其中， 所述第一风格转换训练子任务用于提升从第一风格 向第二风格进行风格 转换所得图像的真实度以使在所述第一 风格判别训练子任务时增大误识别率。 7.根据权利要求6所述的方法， 其特征在于， 依据图像识别模型训练所需样本图像 中的 第二样本图像， 从第二 风格向第二 风格执行第二图像风格转换训练任务， 包括： 将所述第二样本图像从第 二风格向第 一风格进行风格转换生成， 依据风格转换生成的权　利　要　求　书 1/3 页 2 CN 115100576 A 2所述第二样本图像执行所述第二图像风格转换训练任务对应的第二风格判别训练子任务， 以得到第二风格判别训练子任务对应的损失函数值； 其中， 所述第二风格判别训练子任务 用于训练对从第二 风格向第一 风格进行风格转换 所得图像的识别能力； 将风格转换生成的所述第 二样本图像从第 一风格向第 二风格进行风格转换还原， 依据 风格转换还原的所述第二样本图像与风格转换生成前的所述第二样本图像执行第二图像 风格转换训练任务对应的第二风格转换训练子任务， 以得到第二风格转换训练子任务的损 失函数值； 其中， 所述第二风格转换训练子任务用于提升从第二风格 向第一风格进行风格 转换所得图像的真实度以使在所述第二 风格判别训练子任务时增大误识别率。 8.根据权利要求1所述的方法， 其特征在于， 依据 所述图像风格转换训练任务得到的风 格转换后样本图像， 控制所述图像识别模型 执行图像识别训练任务， 包括： 通过所述图像识别模型对所述图像风格转换训练任务得到的至少两帧风格转换后样 本图像进行 特征提取与融合； 其中， 所述至少两帧风格转换后样本图像为第二 风格的图像； 依据经特征提取与融合得到的图像特征确定对所述至少两帧风格转换后样本图像的 预测分类； 依据对所述至少两帧风格转换后样本图像的预测分类， 得到所述图像识别模型执行图 像识别训练任务时的损失函数值。 9.根据权利要求8所述的方法， 其特征在于， 通过所述图像识别模型对所述图像风格转 换训练任务得到的至少两帧风格转换后样本图像进行 特征提取与融合， 包括： 将所述图像风格转换训练任务得到的至少两帧风格转换后样本图像送入所述图像识 别模型的图像特 征处理子模型； 通过所述图像特征处理子模型中的特征提取网络对至少两帧风格转换后样本图像进 行特征提取； 通过所述图像特征处理子模型中的特征融合网络将至少两帧风格转换后样本图像对 应的图像特 征在时间维度上进行交叉融合。 10.根据权利要求8所述的方法， 其特征在于， 依据经特征提取与融合得到的图像特征 确定对所述至少两帧风格转换后样本图像的预测分类， 包括： 将经特征提取与融合得到的图像特征送入所述图像识别模型的图像分类子模型中， 对 所述至少两帧风格转换后样本图像进行 预测分类； 其中， 所述经特征提取与融合得到的图像特征用于辅助 所述图像分类子模型对所述至 少两帧风格转换后样本图像涉及的连贯动作进行聚焦识别。 11.根据权利要求1所述的方法， 其特征在于， 依据所述图像风格转换训练任务与所述 图像识别训练任务， 对所述图像识别模型进行参数调整， 包括： 确定所述图像风格转换训练任务对应的损失函数值与所述图像识别训练任务对应的 损失函数值； 将所述图像风格转换训练任务对应的损失函数值与所述图像识别训练任务的损失函 数值， 按照各自训练任务的损失权 重进行损失融合； 依据所述损 失融合得到的损 失函数值， 对所述图像识别模型进行参数调整， 直至所述 图像识别模型收敛。 12.一种图像识别方法， 其特征在于， 采用权利要求1 ‑10任一所述的图像识别模型的训权　利　要　求　书 2/3 页 3 CN 115100576 A 3