(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111599755.4 (22)申请日 2021.12.24 (71)申请人 樊瑶 地址 712000 陕西省咸阳市渭城区文汇东 路6号内南区6号楼109号 (72)发明人 樊瑶　石英男　 (74)专利代理 机构 北京和联顺知识产权代理有 限公司 1 1621 代理人 张学渊 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于注意力跨层转移机制的生成式图 像修复方法 (57)摘要 本发明公开了一种基于注意力跨层转移机 制的生成式图像修复方法， 属于图像修复技术领 域， 包括如下步骤： 将缺损图像和掩码一起输入 网络， 重构ATNAL特征图， 通过跳跃连接将各级 ATNAL特征图传递至多尺度解码器对应的解码 层； 本发明中， 通过提出注意力跨层转移网络， 在 生成器对缺损图像编码完成后由深入浅逐层重 构编码特征图， 为解码工作提供指导， 提出多尺 度解码器， 使用跳跃连接将ATNAL重构特征图连 接至多尺度解码器对应解码层， 与上一级潜在特 征融合进行解码， 最大限度减少解码过程中上下 文信息丢失， 创新应用L1损失， 将解码过程中的 各尺度特征图转为RGB图像后使用L1损失进行约 束， 促使多尺度解码器生 成上下文语义一致的精 细内容。 权利要求书1页 说明书5页 附图1页 CN 114266711 A 2022.04.01 CN 114266711 A 1.一种基于注意力跨层转移机制的生成式图像修复方法， 包括如下步骤： S1、 将缺损图像和掩码一 起输入网络； S2、 重构ATNAL特 征图； S3、 通过跳跃 连接将各级ATNAL特 征图传递至多尺度解码器对应的解码层； S4、 输出下一层解码特 征图； S5、 通过上采样得到 输出图像； S6、 在解码完成后将各级输出 特征图转为RGB图像； S7、 区分真实图像与修复图像； S8、 对修复图像进行评判； S9、 提升图像修复质量。 2.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S1中， 将缺损图像和掩码一 起输入网络， 进行编码。 3.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S2中， ATNAL编码器在编码完成后， 由深到 浅逐层重构ATNAL特 征图。 4.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S3中， 通过跳跃连接将各级ATNAL特征图传递至多尺度解码器对应的解码层， 其中最深层解码特 征图由对应的编码特 征图反卷积而来。 5.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S4中， 与对应尺度的ATNAL特 征图融合后进行解码输出 下一层解码特 征图。 6.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S5中， 通过 上采样得到尺寸大小为25 6*256的输出图像。 7.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S6中， 在解码完成后将多尺度解码器各级输出 特征图转为RGB图像。 8.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S7中， 使用对抗损失对图像判别器进行约束， 区分 真实图像与修复图像。 9.根据权利要求1所述的一种基于注意力跨层转移机制的生成式图像修复方法， 其特 征在于， 所述S 8中， 引用风格损失和感知损失对修复图像进行评判。 10.根据权利要求1所述的一种基于注意力跨层转移机制的生成式 图像修复方法， 其特 征在于， 所述S9中， 最小化各级解码层最终输出的RGB图像与真实图像 之间的L1损失对生 成 器进行约束， 提升图像修复质量。权　利　要　求　书 1/1 页 2 CN 114266711 A 2一种基于注意力跨层转移 机制的生成式图像修复方 法 技术领域 [0001]本发明属于图像修复技术领域， 尤其涉及 一种基于注意力跨层 转移机制的生成式 图像修复方法。 背景技术 [0002]图像修复是指在图像缺损区域内生成与真实图像色彩、 结构、 语义一致的内容的 工作， 是计算机 视觉重要的研究方向之一。 [0003]现有的图像修复方法大致分为传统的修复方法和基于深度学习的修复方法。 传统 的修复方法大多依靠像素扩张的方法或纹理匹配的方法进 行修复， 在小面积缺损区域和纯 色区域的修复效果较好， 但当缺损区域较大， 且图像内结构复杂、 语义目标较多时修复结果 往往出现模糊、 语义丢失、 结构连通性差等问题， 针对传统图像修复方法的局限性， 许多学 者将深度学习技术应用于图像修复领域， 在大面积缺损区域修复等高难度图像修复工作中 取得了令人惊叹的效果。 [0004]基于深度学习的图像修复方法， 通过对海量图像数据的学习训练， 建立起从缺损 图像到修复图像的完整映射， 能够在缺损区域内生成缺损区域周围没有的像素信息。 而随 着生成对抗网络的提出， 深度学习在图像修复领域更是大放异彩。 通过生成器与判别器的 不断对抗， 逐步提升生成图像与真实图像的一致性， 最 终获得优异的图像修复性能。 但是目 前基于深度学习的主流图像修复算法在修复大面积缺区域时， 仍存在伪影、 语义丢失、 结构 连通性不足等问题。 发明内容 [0005]本发明的目的在于： 为了解决上述现有的图像修复方法大致分为传统的修复方法 和基于深度学习的修复方法， 传统的修复方法大多依靠像素扩张的方法或纹理匹配的方法 进行修复， 在 小面积缺损区域和纯色区域的修复效果较好， 但当缺损区域较大， 且图像内结 构复杂、 语义目标较多时修复结果往往出现模糊、 语义丢失、 结构连通性差等问题， 而提出 的一种基于注意力跨层转移机制的生成式图像修复方法。 [0006]为了实现上述目的， 本发明采用了如下技术方案： 一种基于注意力跨层转移机制 的生成式图像修复方法， 包括如下步骤： [0007]S1、 将缺损图像和掩码一 起输入网络； [0008]S2、 重构ATNAL特 征图； [0009]S3、 通过跳跃 连接将各级ATNAL特 征图传递至多尺度解码器对应的解码层； [0010]S4、 输出下一层解码特 征图； [0011]S5、 通过上采样得到 输出图像； [0012]S6、 在解码完成后将各级输出 特征图转为RGB图像； [0013]S7、 区分真实图像与修复图像； [0014]S8、 对修复图像进行评判；说　明　书 1/5 页 3 CN 114266711 A 3