(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211006306.9 (22)申请日 2022.08.22 (71)申请人 广东工业大 学 地址 510060 广东省广州市越秀区东 风东 路729号大院 (72)发明人 向鑫　叶武剑　刘怡俊　林子琦　 冯伟彬　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 周伟 (51)Int.Cl. G06T 3/00(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种多注 意力融合的图像风格迁移方法、 装 置及设备 (57)摘要 本发明涉及一种多注意力融合的图像风格 迁移方法、 装置及设备， 该方法包括： 获取待处理 的图像数据； 对待处理内容图像和风格图像分别 进行多尺度特征提取， 获得内容特征和风格特 征； 采用多注 意力融合模块对内容特征和风格特 征进行融合处理， 获得注意力特征； 对注意力特 征进行解码， 获得风格迁移图像。 该方法通过多 注意力融合模块对内容特征和风格特征进行融 合处理获得注 意力特征， 实现对待处理 内容图像 与风格图像的显著区域信息进行关注和强调， 抑 制无关的背景细节信息， 能增强风格迁移对图像 关键区域的风格化处理效果， 以建立全局区域联 系的注意力特征， 从而有效地控制风格迁移的局 部区域， 使待处理 内容图像经过风格迁移后的边 缘纹理传输清晰完整。 权利要求书2页 说明书10页 附图3页 CN 115358920 A 2022.11.18 CN 115358920 A 1.一种多注意力融合的图像风格迁移方法， 其特 征在于， 包括以下步骤： 获取待处 理的图像数据， 所述图像数据包括待处 理内容图像和风格图像； 对所述待处理内容图像和所述风格图像分别进行多尺度 特征提取， 获得与 所述待处理 内容图像和所述 风格图像对应的内容特 征和风格特 征； 采用多注意力融合模块对所述内容特征和所述风格特征进行融合处理， 获得注意力特 征； 对所述注意力特 征进行解码， 获得与所述待处 理内容图像对应的风格迁移图像。 2.根据权利要求1所述的多注意力融合的图像风格迁移方法， 其特征在于， 包括： 对所 述风格迁移图像进行特征提取， 获得与所述风格迁移图像对应的迁移特征； 采用损失函数 将所述迁移特征分别与所述内容特征和所述风格特征进行比较， 获得迁移损失； 根据所述 迁移损失调整 所述风格迁移图像的迁移方向和输出结果， 得到与所述待处理内容图像对应 风格迁移后的全景清晰图。 3.根据权利要求2所述的多注意力融合的图像风格迁移方法， 其特征在于， 所述损失函 数为： L＝ λgLgs+λlLlf 式中， L为迁移损失， λg和 λl均为损失项权重的超参数， Lgs为待处理内容图像与风格图像 之间距离和标准差的惩罚参数， Llf为风格迁移图像的特征映射参数， E()为VGG编码器的特 征， x为AdaAttN模块的第x层索引， Ics为风格迁移图像， Fc为内容特征， Fs为风格特征， μ为待 处理内容图像与风格图像之间距离的平均距离， σ 为待处理内容图像与风格图像之间距离 的标准差， AdaA ttN()为AdaA ttN模块的AdaA ttN函数。 4.根据权利要求1所述的多注意力融合的图像风格迁移方法， 其特征在于， 将所述内容 特征和所述风格特征记为特征数据， 采用多注意力融合模块对所述内容特征和所述风格特 征进行融合处 理， 获得注意力特 征包括： 采用多注意力融合模块的通道注意力子模块对输入的所述特征数据进行串行处理并 通过上采样处理后的数据， 获得第一处理数据， 以及将所述第一处理数据与所述特征数据 相加融合得到第二处 理数据； 采用多注意力融合模块的坐标注意力 子模块对所述第 二处理数据进行并行处理， 得到 与所述第二处理数据对应的第三处理数据， 以及将所述第二处理数据与所述第三处理数据 相加融合得到第四处 理数据； 采用多注意力融合模块的通道注意力 子模块对输入的所述特征数据进行串行处理， 获 得第五处理数据； 以及将所述第五处理数据与所述第四处理数据相加融合得到第六处理数 据； 所述第六处理数据通过多注意力融合模块的坐标注意力子模块输出， 得到注意力特 征。 5.根据权利要求4所述的多注意力融合的图像风格迁移方法， 其特征在于， 所述第六处权　利　要　求　书 1/2 页 2 CN 115358920 A 2理数据通过多注意力融合模块的坐标注意力子模块输出， 得到注意力特征包括： 采用多注 意力融合模块的镜像填充、 坐标注意力子模块、 卷积和坐标注意力子模块依 次对所述第六 处理数据处 理， 输出注意力特 征。 6.一种多注意力 融合的图像风格迁移装置， 其特征在于， 包括数据获取模块、 第一VGG 编码器、 多注意力融合模块、 VG G解码器和第二VG G编码器； 所述数据获取模块， 用于获取待处理的图像数据， 所述图像数据包括待处理内容图像 和风格图像； 所述第一VGG编码器， 用于对所述待处理内容图像和所述风格 图像分别进行多尺度特 征提取， 获得与所述待处 理内容图像和所述 风格图像对应的内容特 征和风格特 征； 所述多注意力 融合模块， 用于对所述内容特征和所述风格特征进行融合处理， 获得注 意力特征； 所述VGG解码器， 用于对所述注意力特征进行解码， 获得与所述待处理内容图像对应的 风格迁移图像； 所述第二VGG编码器， 用于对所述风格迁移图像进行特征提取， 获得与所述风格迁移图 像对应的迁移特征； 采用损失函数将所述迁移特征分别与所述内容特征和所述风格特征进 行比较， 获得迁移损失； 根据所述迁移损失调整 所述风格迁移图像的迁移方向和输出结果， 得到与所述待处 理内容图像对应风格迁移后的全景清晰图。 7.根据权利要求6所述的多注意力融合的图像风格迁移装置， 其特征在于， 所述损失函 数为： L＝ λgLgs+λlLlf 式中， L为迁移损失， λg和 λl均为损失项权重的超参数， Lgs为待处理内容图像与风格图像 之间距离和标准差的惩罚参数， Llf为风格迁移图像的特征映射参数， E()为VGG编码器的特 征， x为AdaAttN模块的第x层索引， Ics为风格迁移图像， Fc为内容特征， Fs为风格特征， μ为待 处理内容图像与风格图像之间距离的平均距离， σ 为待处理内容图像与风格图像之间距离 的标准差， AdaA ttN()为AdaA ttN模块的AdaA ttN函数。 8.根据权利要求6所述的多注意力 融合的图像风格迁移装置， 其特征在于， 所述VGG解 码器呈对称结构VG G‑19网络的解码器。 9.根据权利要求6所述的多注意力融合的图像风格迁移装置， 其特征在于， 所述多注意 力融合模块包括多个串行和并行 连接的通道 注意力子模块和坐标注意力子模块。 10.一种终端设备， 其特 征在于， 包括处 理器以及存 储器； 所述存储器， 用于存 储程序代码， 并将所述 程序代码传输给 所述处理器； 所述处理器， 用于根据所述程序代码中的指令执行如权利要求1 ‑5任意一项所述的多 注意力融合的图像风格迁移方法。权　利　要　求　书 2/2 页 3 CN 115358920 A 3