(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615368.3 (22)申请日 2022.06.01 (71)申请人 南京大学 地址 210046 江苏省南京市栖霞区仙林大 道163号 (72)发明人 曹汛　张鹏辉　 (74)专利代理 机构 江苏法德东恒律师事务所 32305 专利代理师 李媛媛 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于双级特 征融合的红外图像去噪方法 (57)摘要 本发明公开了一种基于双级特征融合的红 外图像去噪方法。 具体步骤为： 第一级： (1)提取 红外噪声图像的初始特征； (2)将初始特征输入 第一编码结构， 获取三种不同尺度的编码特征； (3)将最后一个尺度的编码特征， 输入第一解码 结构， 获取细 节增强的解码特征； (4)将最后一个 尺度的解码特征输入自监督注意力模块。 第二 级： (5)再对红外噪声图像提取初始特征， 并与上 述自监督注意力模块提取的特征拼接； (6)将拼 接后的特征调整特征通道数， 输入第二编码结 构， 并与步骤2、 3对应尺度的特征融合； (7)将融 合后的最后一个尺度的特征输入第二解码结构， 获取得细节增强的解码特征； (8)重建得到恢复 的清晰红外图像 。 权利要求书2页 说明书4页 附图3页 CN 115187468 A 2022.10.14 CN 115187468 A 1.基于双级特 征融合的红外图像去噪方法， 其特 征在于， 该 方法包括以下步骤： 第一级： 步骤1， 利用第一特 征提取卷积层提取遭受噪声污染的红外图像的初始特 征； 步骤2， 将提取的初始特征输入到第 一编码结构中， 在编码过程中通过不断的下采样 获 取三种不同尺度的编码特 征， 每种尺度对应一种分辨 率； 步骤3， 将获得的最后一个尺度的编码特征， 输入到第一解码结构中， 通过不断地上采 样过程恢复分辨率获得上述三种不同尺度的解码特征， 在同一尺度下， 使用跳层连接将步 骤2所提取的编码特 征与解码特 征相加， 获得细节增强的解码特 征； 步骤4， 将步骤3输出的最后一个尺度的细节增强的解码特征输入到自监督注意力模块 中， 由该模块给 出去噪重建图像X1， 同时提取 出注意力增强的特 征表示； 第二级： 步骤5， 再对步骤1的红外图像使用第二特征提取卷积层提取初始特征， 并与步骤4中所 述的注意力增强的特 征表示做拼接操作； 步骤6， 将拼接后的特征用特征调整卷积层调整特征通道数， 输入到第二编码结构中， 所述第二编 码结构与第一编 码结构的构成相同但 参数不同； 并且在每一个下采样过程后获 得的当前尺度下 的第二编码特征中， 将第一级网络编码和 解码部分的对应尺度的特征， 通 过卷积处理之后， 与之相加， 获得当前尺度下融合后的第二编码特 征； 步骤7， 将步骤6融合后的第二编码特征输入到第二解码结构中， 所述第二解码结构与 第一解码结构的构成相同但参数不同， 同样使用跳层连接获得细节增强的解码特 征； 步骤8， 对步骤7输出的细节增强的解码特征使用重建卷积层得到本级的去噪重建图像 X2， 即恢复的清晰红外图像。 2.根据权利要求1所述的基于双级特征融合的红外图像去噪方法， 其特征在于， 所述步 骤2中， 使用G残差块和2 ×2的下采样层作为一个基本的下采样模块， 在下采样过程中， 采用 两次2×2下采样模块， 将特 征通道数量翻倍， 得到三种不同尺度的编码特 征。 3.根据权利要求2所述的基于双级特征融合的红外 图像去噪方法， 其特征在于， 所述G 残差块的处理步骤是： 将输入经过一个3 ×3的卷积层之后， 使用组归一化方式GN对参数依 照通道相关性做归一 化处理， 再之后使用高斯 误差线性单 元做非线性处 理。 4.根据权利要求1所述的基于双级特征融合的红外图像去噪方法， 其特征在于， 所述步 骤3中， 第一解码结构使用卷积核 大小为4的转置卷积层； 上采样之后， 使用残差连接块对特 征进行映射； 此外， 在每一个尺度下都添加一个跳层连接， 以补偿由于重采样所造成的信息 损失。 5.根据权利要求1所述的基于双级特征融合的红外图像去噪方法， 其特征在于， 所述步 骤4中， 所述自监 督注意力模块包括以下计算 步骤： 步骤41， 将输入的特征 用残差重建卷积层来生成残差图像 这里H×W表示空间维度且C表示 通道数； 步骤42， 将残差图像和输入的噪声图像相加， 从而得到恢复的清晰图像 步骤43， 重建图X1经过注意力 卷积层和Sigmoid函数， 生成掩模 所述掩模 用于注意力增强；权　利　要　求　书 1/2 页 2 CN 115187468 A 2步骤44， 最初的特征Fin经过特征映射卷积层的处理之后， 与所述掩模相乘， 再与特征Fin 相加， 就会生成一系列注意力增强的特 征； 步骤45， 将步骤44获得的特征和第二级提取的初始特征做拼接操作， 从而完成部分注 意力增强的功能。权　利　要　求　书 2/2 页 3 CN 115187468 A 3