(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111645100.6 (22)申请日 2021.12.2 9 (71)申请人 哈尔滨工程大 学 地址 150000 黑龙江省哈尔滨市南岗区南 通大街145号 (72)发明人 高山　崔颖　韩佳成　苏静静　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 代理人 张宏威 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06T 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Transformer的水 下图像增强方法 (57)摘要 本发明是一种基于Tran sformer的水下图像 增强方法。 本发 明涉及数字图像处理和水下图像 处理技术领域， 本发明通过输入端输入待增强的 水下图像， 采用多级下采样模块通过卷积的方式 进行下采样， 获得不同尺度下的图像； 通过全局 特征提取模块采用卷积结合残差块的方式， 进行 不同尺度下图像的特征提取， 获得不同尺寸下的 特征图； 将最小尺寸的特征图输入编码器， 并采 用多级特征深化提取的方式进行处理； 将解码器 的输出进行块解码， 将最小尺寸特征图经过 Transformer的输出从序列重新恢复成图像形 式； 经过多级上采样模块进行尺度上的恢复， 结 合之前的多级细节深化模块， 获得输出的增强图 像。 权利要求书1页 说明书4页 附图1页 CN 114359091 A 2022.04.15 CN 114359091 A 1.一种基于Transformer的水 下图像增强方法， 其特 征是： 包括以下步骤： 步骤1： 通过输入端输入待增强的水下图像， 采用多级下采样模块通过卷积的方式进行 下采样， 获得不同尺度下的图像； 步骤2： 通过全局特征提取模块采用卷积结合残差块的方式， 进行不同尺度下图像的特 征提取， 获得不同尺寸下的特 征图； 步骤3： 将最小尺寸的特 征图输入编码器， 并采用多 级特征深化提取的方式进行处 理； 步骤4： 将解码器的输出进行块解码， 将最小尺寸特征图经过Transformer的输出从序 列重新恢复成图像形式； 步骤5： 经过多级上采样模块进行尺度上的恢复， 结合之前的多级细节深化模块， 获得 输出的增强图像。 2.根据权利要求1所述的一种基于Transformer的水下图像增强方法， 其特征是： 所述 步骤1具体为： 使用不同尺寸的卷积核进行逐级下采样， 对原始图像逐渐减小尺寸， 在获得不同尺度 下的原始图片的同时， 将后续Transformer处 理所需的内存进行限制。 3.根据权利要求2所述的一种基于Transformer的水下图像增强方法， 其特征是： 所述 步骤2具体为： 使用残差块进行特征提取， 残差块由两个不改变图尺寸的卷积层结合批标准化和激活 函数组成， 获得不同尺寸下的多 级特征图， 为后续的深化特 征做准备。 4.根据权利要求3所述的一种基于Transformer的水下图像增强方法， 其特征是： 所述 步骤3具体为： 针对尺寸最小的特征图进行分块编码， 将编码后的图像输入Transformer的编解码器； 针对中间尺寸的特征图， 使用第一细节深化模块进 行细节特征提取； 针对原尺 寸的特征图， 使用全局深化模块进 行细节特征提取； 针对Transformer的编码器输出， 使用第二细节深化 模块进行提取。 5.根据权利要求4所述的一种基于Transformer的水下图像增强方法， 其特征是： 第一 细节深化模块部分为多层感知机搭建的小型特征提取网络， 用作深化部分细节； 全局深化 模块则是采用二维傅里叶变换的方式， 将图像转换到频域后结合 自适应滤波和softmax层 获得频域细节的评价图， 和原图相乘后再和原图相加， 用以深化频域细节， 后经傅里叶反变 换获得全局深化过的原 尺寸图。 6.根据权利要求5所述的一种基于Transformer的水下图像增强方法， 其特征是： 所述 步骤5具体为： 采用转置卷积的方式进行上样， 在上采用的同时进行学习， 对比插值类型的上采样模 块有着更好的恢复效果， 在每一级上采样的同时融合之前深化过 的多级特征图， 直到最终 获得输出的增强图像， 在融合的时候采用可 学习的参数进行控制， 获得 更合适的融合效果。权　利　要　求　书 1/1 页 2 CN 114359091 A 2一种基于 Transformer的水下图像增强方 法 技术领域 [0001]本发明涉及数字图像处理和水下图像处理技术领域， 是一种基于Transformer的 水下图像增强方法。 背景技术 [0002]海洋有着丰富的自然资源， 进行水下的光学观察是人类了解海洋、 利用海洋资源 发展的重要手段。 水下光学图像是其中很重要的组成部 分， 它可以承载丰富的水下信息， 其 在渔业、 水产以及军事方面均有重要的作用。 然而， 水下环境和陆地环境不同， 在水下成像 的过程中会产生许多的干扰， 光穿过水的同时会被水吸收和散射， 产生衰减， 导致影响光学 成像的图像色彩和纹理特征， 产生退化。 水深增加， 自然光源传播的困难也会逐渐增加， 自 然光源中的不同频率的光能传输的最大深度也不同， 因此在比较深的水下获得的水下图像 通常更加偏蓝色或者黄绿色， 并且质量会下降、 细节较为模糊、 偏暗等。 针对这类水下退化 图像进行图像质量和细节特征方面的增强， 有利于恢复和 提高图像之中的有用信息， 对于 下游任务的开展十分有帮助。 发明内容 [0003]本发明为了解决水下图像中的质量下降、 模糊等问题， 本发明提供了一种基于 Transformer的水 下图像增强方法， 本发明提供了以下技 术方案： [0004]一种基于Transformer的水 下图像增强方法， 包括以下步骤： [0005]步骤1： 通过输入端输入待增强的水下图像， 采用多级下采样模块通过卷积的方式 进行下采样， 获得不同尺度下的图像； [0006]步骤2： 通过全局特征提取模块采用卷积结合残差块的方式， 进行不同尺度下图像 的特征提取， 获得不同尺寸下的特 征图； [0007]步骤3： 将最小尺寸的特征图输入编码器， 并采用多级特征深化提取的方式进行处 理； [0008]步骤4： 将解码器的输出进行块解码， 将最小尺寸特征图经过Transformer的输出 从序列重新恢复成图像形式； [0009]步骤5： 经过多级上采样模块进行尺度上的恢复， 结合之前的多级细节深化模块， 获得输出的增强图像。 [0010]优选的， 所述 步骤1具体为： [0011]使用不同尺寸的卷积核进行逐级下采样， 对原始图像逐渐减小尺寸， 在获得不 同 尺度下的原 始图片的同时， 将后续Transformer处 理所需的内存进行限制。 [0012]优选的， 所述 步骤2具体为： [0013]使用残差块进行特征提取， 残差块由两个不改变图尺寸的卷积层结合批标准化和 激活函数组成， 获得不同尺寸下的多 级特征图， 为后续的深化特 征做准备。 [0014]优选的， 所述 步骤3具体为：说　明　书 1/4 页 3 CN 114359091 A 3