(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211029163.3 (22)申请日 2022.08.25 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 万治河　刘浩　梁鼎　吴一超　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 许昌莲 (51)Int.Cl. G06T 3/00(2006.01) G06T 5/50(2006.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) (54)发明名称 图像处理模 型的训练方法、 图像处理方法及 相关装置 (57)摘要 本申请公开了一种图像处理模型的训练方 法、 图像处理方法及相关装置， 该方法包括： 获取 分别表征不同图像风格的特征分布； 基于特征分 布对样本图像进行风格变换， 得到合成图像； 其 中， 合成图像具有与样本图像相同的图像内容， 且合成图像具有与样本图像不同的图像风格； 基 于合成图像训练图像处理模型， 并重复执行基于 特征分布对样本图像进行风格变换， 得到合成图 像的步骤， 直至图像处理模型训练收敛为止。 上 述方案， 能够在无需大量获取多图像风格的图像 数据的情况下即可训练得到泛化性能较好的图 像处理模型。 权利要求书2页 说明书13页 附图5页 CN 115409692 A 2022.11.29 CN 115409692 A 1.一种图像处 理模型的训练方法， 其特 征在于， 包括： 获取分别表征不同图像风格的特 征分布； 基于所述特征分布对样本图像进行风格变换， 得到合成图像； 其中， 所述合成图像具有 与所述样本图像相同的图像内容， 且所述 合成图像具有与所述样本图像不同的图像风格； 基于所述合成图像训练图像处理模型， 并重复执行所述基于所述特征分布对所述样本 图像进行风格 变换， 得到合成图像的步骤， 直至所述图像处 理模型训练收敛为止 。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述特征分布对所述样本图像进 行风格变换， 得到合成图像， 包括： 对所述样本图像进行内容 提取， 得到所述样本图像的内容图像； 基于所述特 征分布进行 特征采样， 得到风格特 征； 基于所述内容图像和所述 风格特征进行合成， 得到所述 合成图像。 3.根据权利要求1或2所述的方法， 其特征在于， 所述风格变换由风格变换模型实现， 所 述风格变换模型基于样 本图像集训练得到， 所述样本图像集内含有不同图像风格的多个样 本图像， 且所述特 征分布基于所述样本图像集和训练收敛的所述 风格变换模型获取 得到。 4.根据权利要求3所述的方法， 其特 征在于， 所述 风格变换模型的训练步骤 包括： 从所述样本图像集 提取第一抽样图像和第二抽样图像； 基于所述风格变换模型的编码网络分别对所述第 一抽样图像、 所述第 二抽样图像进行 分解， 得到所述第一抽样图像的内容图像和风格特征， 以及所述第二抽样图像的内容图像 和风格特 征； 基于所述风格变换模型的解码网络对所述第一抽样图像的内容图像和风格特征进行 合成， 得到第一合成图像， 并基于所述解码网络对所述第一抽样图像的内容图像和所述第 二抽样图像的风格特 征进行合成， 得到第二 合成图像； 基于所述第一抽样图像、 所述第二抽样图像、 所述第一合成图像和所述第二合成图像 进行一致性度量， 得到模型损失， 并基于所述模型损失， 调整所述风格变换模型的网络参 数。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述第一抽样图像、 所述第二抽 样图像、 所述第一 合成图像和所述第二 合成图像进行一 致性度量， 得到模型损失， 包括： 基于所述编码网络分别对所述第一合成图像、 所述第二合成图像进行分解， 得到所述 第一合成图像的内容图像和风格特 征， 以及所述第二 合成图像的内容图像和风格特 征； 基于所述第 一抽样图像的内容图像和所述第 一合成图像的内容图像之间的差异、 所述 第一抽样图像的风格特征和所述第一合成图像的风格特征之间的差异、 所述第一抽样图像 的内容图像和所述第二合成图像的内容图像之 间的差异， 以及所述第二抽样图像的风格特 征和所述第二 合成图像的风格特 征之间的差异中至少一 者， 得到所述模型损失。 6.根据权利要求3所述的方法， 其特征在于， 所述获取分别表征不同图像风格的特征分 布， 包括： 基于训练收敛的所述风格变换模型的编码网络分别对所述样本图像集内各个样本图 像进行分解， 得到各 所述样本图像的风格特 征； 基于各所述样本图像的风格特征进行特征聚类， 得到分别表征不同所述图像风格的特 征分布。权　利　要　求　书 1/2 页 2 CN 115409692 A 27.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 响应于待扩充新的图像风格， 获取具有所述新的图像风格的新的样本 图像， 并基于训 练收敛的所述风格变换模型处理所述新的样本图像， 得到表征所述新的图像风格的特征分 布， 以及基于表征所述新的图像风格的特征分布确定是否更新表征所述不同图像风格的特 征分布； 响应于更新表征所述不同图像风格的特征分布， 重新执行所述基于所述特征分布对样 本图像进行风格变换， 得到合成 图像的步骤， 以训练得到适用于各种 所述图像风格的图像 处理模型。 8.根据权利要求1至7任一项所述的方法， 其特征在于， 所述图像处理模型为目标检测 模型， 所述样本图像包含样本对 象， 且所述样本图像标注有所述样本对 象实际所在的样本 区域； 或者， 所述图像处理模型为图像分割模型， 所述样本图像包含样本对象， 且所述样本图 像标注有所述样本对象实际的样本轮廓； 或者， 所述图像处理模型为图像分类模型， 所述样本图像包含样本对象， 且所述样本图 像标注有所述样本对象的样本类别。 9.一种图像处 理方法， 其特 征在于， 包括： 获取待处 理图像； 其中， 所述待处 理图像的图像风格为多种图像风格中任一种； 基于图像处理模型对所述待处理图像进行处理， 得到对所述待处理图像的处理结果； 其中， 所述图像处 理模型基于 权利要求1至8任一项所述的图像处 理模型的训练方法得到 。 10.一种图像处 理模型的训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取分别表征不同图像风格的特 征分布； 变换模块， 用于基于所述特征分布对样本图像进行风格变换， 得到合成图像； 其中， 所 述合成图像具有与所述样本图像相同的图像内容， 且所述合成图像具有与所述样本图像不 同的图像风格； 训练模块， 用于基于所述合成图像训练图像处理模型， 并重复执行所述基于所述特征 分布对所述样本图像进行风格变换， 得到合成图像的步骤， 直至所述图像处理模型训练收 敛为止。 11.一种图像处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待处理图像； 其中， 所述待处理图像的图像风格为多种图像风格中 任一种； 处理模块， 用于基于 图像处理模型对所述待处理图像进行处理， 得到对所述待处理图 像的处理结果； 其中， 所述图像处理模型基于权利要求10所述的图像处理模型的训练装置 得到。 12.一种电子设备， 其特征在于， 包括相互耦接的存储器和 处理器， 所述处理器用于执 行所述存储器中存储的程序指 令， 以实现权利要求1至8任一项 所述的图像处理模型的训练 方法， 或实现权利要求9所述的图像处 理方法。 13.一种计算机可读存储介质， 其上存储有程序指令， 其特征在于， 所述程序指令被处 理器执行实现权利要求1至8任一项所述的图像处理模型 的训练方法， 或实现权利要求9所 述的图像处 理方法。权　利　要　求　书 2/2 页 3 CN 115409692 A 3