(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210941183.1 (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 115018750 A (43)申请公布日 2022.09.06 (73)专利权人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 李树涛　冯辰果　刘海波　佃仁伟　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 谭武艺 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) G06V 10/80(2022.01) (56)对比文件 CN 114757831 A,202 2.07.15CN 113762264 A,2021.12.07 US 11189034 B1,2021.1 1.30 CN 114820491 A,202 2.07.29 CN 113989228 A,202 2.01.28 CN 113793275 A,2021.12.14 Renwei Dian, et al. .Recent advances and new guidel ines on hyperspectral and multispectral ima ge fusion. 《Informati on Fusion》 .2021,40 -51. Jiayi Ma， et al. .SwinFusion: Cross- domain Long-range Learn ing for General Image Fusion via Sw in Transformer. 《IE EE/ CAA Journal of Automatica Si nica》 .202 2, 1200-1217. 田应仲 等.基 于注意力机制与Sw in Transformer模型的腰椎图像分割方法. 《计量与 测试技术》 .2021,57- 61. 审查员 彭玉玲 (54)发明名称 中波红外高光谱及 多光谱图像融合方法、 系 统及介质 (57)摘要 本发明公开了一种中波红外高光谱及多光 谱图像融合方法、 系统及介质， 本发明包括对输 入的中波红外高光谱图像Y空间上采样得到上采 样中波红外高光谱图像YU； 将输入的中波 红外多 光谱图像Z与所述上采样中波 红外高光谱图像YU 按光谱维度拼接得到图像块C； 提取图像块C的残 差图像Xres； 将残差图像Xres、 上采样中波红外高 光谱图像YU基于位置的像素值相加， 得到融合后 的中波红外高光谱图像X。 本发明能够有效实现 低分辨率的中波红外高光谱图像和 高分辨率的 中波红外多光谱图像融合得到高分辨率的中波 红外高光谱图像， 具有重构精度高、 计算效率高、 普适性和鲁棒 性较强的优点。 权利要求书2页 说明书10页 附图4页 CN 115018750 B 2022.11.08 CN 115018750 B 1.一种中波红外高光谱及多光谱图像融合方法， 其特 征在于， 包括： S1， 对输入的中波红外高光谱图像Y空间上采样得到上采样中波红外高光谱图像YU； S2， 将输入的中波红外多 光谱图像Z与所述上采样中波红外高光谱图像YU按光谱维度拼 接得到图像块C； S3， 提取图像块C的残差图像Xres； 所述提取对应的残差图像Xres为通过预先完成训练的 基于自注意力机制的融合网络实现的， 所述基于自注意力机制的融合网络由相互连接的编 码器和解码 器组成， 所述编 码器包括N个依次级联执行下采样的图像合并层， 所述解码 器包 括N个依次级联执行上采样的图像扩展层， 且编码器中的图像合并层、 解码 器中的图像扩展 层数量相同且一一对应， 任意相邻的图像合并层之间、 相邻的图像合并层和图像扩展层之 间、 以及相邻的图像扩展层之间均串接有用于提取全局特征 的旋转变换器块， 编码器的前 N‑1个图像合并层与对应的图像扩展层之 间设有跳跃连接以用于将下采样得到的特征图与 对应上采样的特征图进行通道方向的拼接后通过全连接层调整拼接特征图的通道维度使 通道维度不发生改变； 所述图像合并层用于对输入图像进行像素重组PixelUnshuffle操 作， 实现输入图像的两倍空间下采样以及通道数变为原来的4倍， 接着通过归一化层 进行特 征图通道方向的归一化， 最后通过全连接层将特征图的通道数减半； 所述图像扩展层和图 像合并层具有对称的结构， 针对输入特征图图像扩展层实现与图像合并层相反的像素重组 PixelShuffle操作， 来完成空间上采样功能； 所述旋转变换器块由归一化层、 多头自注 意力 模块、 残差连接结构以及激活函数为GELU的双层全连接网络构成， 旋转变换器块在每一个 多头自注意力模块和双层全连接网络之前都会使用一个归一化层对输入数据进行通道方 向上的归一化； 每一个所述旋转变换器块之后均对应连接有一个卷积层， 所述卷积层用于 将卷积结构的归纳偏置性引入旋转变换器块； 每一个所述旋转变换器块均在卷积层之后还 对应连接有一个残差模块， 所述残差模块用于将该旋转变换器块的输入、 该旋转变换器块 对应的卷积层的输出做差后输出至下一个图像合并层或者图像扩展层； S4， 将残差图像Xres、 上采样中波红外高光谱图像YU基于位置的像素值相加， 得到融合后 的中波红外高光谱图像X。 2.根据权利要求1所述的中波红外高光谱及多光谱图像 融合方法， 其特征在于， 步骤S1 中的对输入的中波红外高光谱图像Y空间上采样是指对输入的中波红外高光谱图像Y采用 双三次插值法进行空间上采样以得到上采样中波红外高光谱图像YU。 3.根据权利要求1所述的中波红外 高光谱及多光谱图像融合方法， 其特征在于， 所述卷 积层的卷积核大小为3 ×3。 4.根据权利要求1所述的中波红外 高光谱及多光谱图像融合方法， 其特征在于， 所述编 码器包括3个依次级联执行下采样的图像合并层， 所述解码 器包括3个依次级联执行上采样 的图像扩展层。 5.根据权利要求4所述的中波红外 高光谱及多光谱图像融合方法， 其特征在于， 中波红 外高光谱图像Y的大小为W/16*H/ 16*31， 上采样中波红外高光谱图像YU的大小为W*H*3 1， 中 波红外多光谱图像Z的大小为W*H*3， 图像块C的大小为W*H*34， 第一个图像合并层输出的特 征图大小为W/4*H/4*96， 第二个图像合并层输出的特征图大小为W/8*H/8*192， 第三个图像 合并层输出的特征图大小为W/16*H/16*384， 第一个图像扩展层2倍上采样后输出的特征图 大小为W/8*H/8*192， 第二个图像扩展层2倍上采样后输出的特征图大小为W/4*H/4*96， 第权　利　要　求　书 1/2 页 2 CN 115018750 B 2三个图像扩展层4倍上采样后通过一个全连接层将特征维度还原为31个光谱维度， 输出 的 特征图大小为W*H*31的残差图像Xres， 其中W为残差图像Xres的宽度， H为残差图像Xres的高 度。 6.一种中波红外高光谱及多光谱图像融合系统， 包括相互连接的微处理器和存储器， 其特征在于， 所述微处理器被编程 或配置以执行权利要求 1～5中任意一项所述中波红外高 光谱及多光谱图像融合方法的步骤。 7.一种计算机可读存储介质， 其中存储有计算机程序， 其特征在于， 所述计算机程序用 于被微处理器编程或配置以执行权利要求1～5中任意一项所述中波红外高光谱及多光谱 图像融合方法的步骤。权　利　要　求　书 2/2 页 3 CN 115018750 B 3