(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111644348.0 (22)申请日 2021.12.2 9 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 毛凯　杨猛　李鹏飞　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 代理人 禹小明 (51)Int.Cl. G06T 19/20(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01) G06V 10/50(2022.01)G06V 10/82(2022.01) (54)发明名称 基于语义GAN的跨 域图像风格 迁移方法 (57)摘要 本发明针对现有技术的局限性， 提出了一种 基于语义GAN的跨域图像风格迁移方法， 该方法 针对当前跨域图像风格迁移方法需要大量训练 数据， 且经常出现语义不匹配的问题， 提出并应 用了一种新型的基于语义生成对抗网络的跨域 图像风格迁移的模型——语义GAN； 该模型框架 充分利用GAN的强大功能， 通过结合预训练语义 分割网络， 生成语义分割图引入到生成器以及判 别器中， 有效地探索了语义信息的引导作用， 解 决了现有技术中语义不匹配的问题； 使得该方案 在训练阶段、 测试阶段和实际使用时都能利用到 图像的语义信息， 进而更好地完成图像风格迁移 任务。 权利要求书2页 说明书9页 附图4页 CN 114359526 A 2022.04.15 CN 114359526 A 1.一种基于语义GAN的跨 域图像风格迁移方法， 其特 征在于， 包括以下步骤： S1， 获取待处 理图像以及所述待处 理图像的风格迁移任务； S2， 将所述待处理图像输入到基于语义GAN的模型框架训练得到的跨域 图像风格迁移 模型， 所述跨域图像风格迁移模型根据所述风格迁移任务生成所述待处理图像的跨域图像 风格迁移结果； 其中： 所述语义 GAN的模型框架中包 括预训练语义 分割网络S、 编码器Ey、 骨干网络N以及 判别器D； 所述骨干网络N包括编码器Ex、 残差块ResBlocks以及生成器G； 所述残差块 ResBlocks分别连接所述预训练语 义分割网络S、 编码器Ey、 编码器Ex以及生成器G； 所述生成 器G连接所述判别器D； 在训练过程中： 所述预训练语义分割网络S用于提取输入的风格图像 的语义概率图； 所述编码器Ey用于对输入的风格图像进行特征提取以及下采样操作； 所述 编码器Ex用于对输入的内容图像进行特征提取以及下采样操作； 所述残差块ResBlocks用 于根据输入的风格图像的语义概率图、 特征以及输入的内容图像的特征， 进行进一步的图 像特征提取； 所述生成器G用于根据所述残差块ResBlocks 的特征提取结果， 获得输入的内 容图像的生成图像； 所述判别器D用于对所述 生成图像进行判别， 计算 风格特征损失。 2.根据权利要求1所述的基于语义GAN的跨域图像风格迁移方法， 其特征在于， 所述语 义GAN的模型框架在训练过程中执 行以下总损失函数 其中， 表示对抗损失， 表示内容一致性损失， 表示语义类别损失， 表 示风格损失， 表示语义区域均值损失， λ1， λ2， λ3， λ4， λ5分别表示对应的控制参数。 3.根据权利要求2所述的基于语义GAN的跨域图像风格迁移方法， 其特征在于， 所述对 抗损失 按以下公式表示： 其中， Ex(x)表示输入的内容图像x的特征； S(y ′)表示输入的风格图像y ′的语义概率图； Ey(y′)表示输入的风格图像y ′的特征； G(Ex(x),S(y′),Ey(y′))表示生成图像； y为用于对所 述生成图像进行判别的真实图像。 4.根据权利要求3所述的基于语义GAN的跨域图像风格迁移方法， 其特征在于， 所述内 容一致性损失 按以下公式表示： 5.根据权利要求3所述的基于语义GAN的跨域图像风格迁移方法， 其特征在于， 所述语 义类别损失 按以下公式表示： 其中， M为数据集总语义数量， ci表示第i个 语义， 表示第i个 语义的预测概 率。 6.根据权利要求3所述的基于语义GAN的跨域图像风格迁移方法， 其特征在于， 所述风 格损失 按以下公式表示：权　利　要　求　书 1/2 页 2 CN 114359526 A 2其中， m表示当前图像域的语义数量， f_y∈RN1×D1表示真实图像y的特征图， 表示真实图像y的第k个语义的分割图， R表示实数， N1表示滤波器的数量， D1表示特征图的 大小， f_G(Ex(x),S(y′),Ey(y′))表示生成图像的特 征图。 7.根据权利要求3所述的基于语义GAN的跨域图像风格迁移方法， 其特征在于， 所述语 义区域均值损失 按以下公式表示： 其中， m表示当前图像域的语义数量， f_y∈RN1×D1表示真实图像y的特征图， 表示真实图像y的第k个语义的分割图， R表示实数， N1表示滤波器的数量， D1表示特征图的 大小， f_G(Ex(x),S(y′),Ey(y′))表示生成图像的特 征图。 8.一种基于语义GAN的跨域图像风格迁移系统， 其特征在于， 包括数据获取模块(1)以 及连接所述数据获取模块(1)的图像处 理模块(2)； 数据获取模块(1)用于获取待处 理图像以及所述待处 理图像的风格迁移任务； 图像处理模块(2)用于将所述待处理图像输入到基于语义GAN的模型框架训练得到的 跨域图像风格迁移模型， 所述跨域图像风格迁移模型根据所述风格迁移任务生成所述待处 理图像的跨 域图像风格迁移结果； 其中： 所述语义 GAN的模型框架中包 括预训练语义 分割网络S、 编码器Ey、 骨干网络N以及 判别器D； 所述骨干网络N包括编码器Ex、 残差块ResBlocks以及生成器G； 所述残差块 ResBlocks分别连接所述预训练语 义分割网络S、 编码器Ey、 编码器Ex以及生成器G； 所述生成 器G连接所述判别器D； 在训练过程中： 所述预训练语义分割网络S用于提取输入的风格图像 的语义概率图； 所述编码器Ey用于对输入的风格图像进行特征提取以及下采样操作； 所述 编码器Ex用于对输入的内容图像进行特征提取以及下采样操作； 所述残差块ResBlocks用 于根据输入的风格图像的语义概率图、 特征以及输入的内容图像的特征， 进行进一步的图 像特征提取； 所述生成器G用于根据所述残差块ResBlocks 的特征提取结果， 获得输入的内 容图像的生成图像； 所述判别器D用于对所述 生成图像进行判别， 计算 风格特征损失。 9.一种介质， 其上储存有计算机程序， 其特征在于： 所述计算机程序被处理器执行时实 现如权利要求1至7任一项所述的基于语义GAN的跨 域图像风格迁移方法的步骤。 10.一种计算机设备， 其特征在于： 包括介质、 处理器以及储存在所述介质中并可被所 述处理器执行的计算机程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的基于语义GAN的跨 域图像风格迁移方法的步骤。权　利　要　求　书 2/2 页 3 CN 114359526 A 3