(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210518293.7 (22)申请日 2022.05.13 (71)申请人 辽宁师范大学 地址 116000 辽宁省大连市沙河口区黄河 路850号 (72)发明人 王相海　王鑫莹　赵克云　赵晓阳　 宋传鸣　 (74)专利代理 机构 大连非凡专利事务所 212 20 专利代理师 闪红霞 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于空谱联合感知注意力的高光谱影像超 分辨率重建方法 (57)摘要 本发明公开一种基于空谱联合感知注意力 的高光谱影像超分辨率重建方法， 在输入端输入 高光谱影像并进行预处理， 获得高光谱影像和多 光谱影像的总训练集和总测试集； 用总训练集训 练空间注 意力提取模块及光谱注 意力提取模块， 分别提取总训练集的空间注意力和光谱注意力； 用总训练集训练全尺度链接U型融合模块， 输出 特征图； 利用Adam优化器和网络总损失函数更新 网络参数， 得到经过训练网络模型； 用总测试集 测试经过训练的网络模型， 计算峰值信噪比， 迭 代直至得到最佳网络模型； 将总测试集输入至最 佳网络模型， 得到重建超分辨率的高光谱影像。 实验结果表明， 本发明的超分辨率效果达到较高 水平。 权利要求书8页 说明书19页 附图2页 CN 114936967 A 2022.08.23 CN 114936967 A 1.一种基于空谱联合感知注意力的高光谱影像超分辨率重建方法， 其特征在于依次按 照如下步骤进行： 步骤1.在输入端输入高光谱影像Y∈RP×Q×C， 对Y进行预处理， 获得高光谱影像和多光谱 影像的总训练集和总测试集， 其中P ×Q为Y每一波段影 像的空间大小， C为Y的波段 数； 步骤2.构建最佳网络模型 步骤2.1用总训练集训练空间光谱注意力提取模块， 分别提取总训练集的空间注意力 Spai和光谱注意力Spei， 所述i＝1， 2， 3； 步骤2.2用总训练集训练全尺度链接U型融合模块， 输出 特征图F1、 F2、 F3、 F2’及F3’； 步骤2.3利用Adam优化器和网络总损失函数Lt更新网络参数， 得到经 过训练网络模型； 步骤2.4用总测试集测试经过训练的网络模型， 计算峰值信噪比， 迭代直至得到最佳网 络模型； 步骤3.将总测试集输入至最佳网络模型， 得到 重建超分辨 率的高光谱影 像。 2.根据权利要求1所述的基于空谱联合感知注意力的高光谱影像超分辨率重建方法， 其特征在于所述 步骤1具体如下： 步骤1.1将高光谱影像Y中元素值归一化至0 ‑255， 得到归一化后的高光谱影像Y ′∈RP ×Q×C； 步骤1.2对所得高光谱影像Y ′∈RP×Q×C的边缘进行裁剪， 得到裁剪后的高光谱影像Y1∈ RP′ ×Q′ ×C； 所述P′ ×Q′为裁剪后的高光谱影像Y1每一波段影像的空间大小， P ′＝P+w_edge， Q ′ ＝Q+h_edge； 所述w_edge＝P//4*4 ‑P， h_edge＝Q//4*4 ‑Q， 其中“//”为整数除法操作， 返回 商的整数部分； 步骤1.3划分工作区， 所述工作区起始列w_str＝(P ′ ‑A)//2， 工作区起始行h_str＝ (Q′ ‑B)//2， 工作区终止列w_end＝w_str+A， 工作区终止行h_end＝h_str+B， 其中A和B分别 为需要得到的多光谱影 像的宽度和高度； 步骤1.4划分测试 数据 首先截取高光谱影像Y1的第w_str列 至w_end列的第h_str行至h_end行， 得到高光谱影 像test_ref∈RA×B×C； 对高光谱影像test_ref进行高斯模糊， 同时传入参数ksize＝(5， 5)， sigmaX＝2， 得到 高光谱影 像test_lr ′∈RA×B×C； 对高光谱影像test_lr ′进行4倍下采样， 传入参数dsize＝(A//4， B//4)， 其中 “//”为整 数除法操作， 返回商的整数部分， 得到测试集高光谱影像test_lr∈Ra×b×C， 其中a×b为下采 样后所得高光谱影 像test_lr每一波段影 像的空间大小， 且有a＝A/ /4， b＝B/ /4； 然后， 从高光谱影像test_ref中抽取c个通道得到测试集多光谱影像test_hr∈RA×B×c， 抽样方式为 等距抽样， 其中c为要得到的多光谱影 像的通道数； 步骤1.5划分训练数据 首先将高光谱影像Y1中工作区部分赋值为0， 即将高光谱影像Y1∈RP′ ×Q′ ×C的第w_str列 至w_end列的第h_st r行至h_end行全部赋值 为0， 得到高光谱影 像train_ref∈RP′ ×Q′ ×C； 然后对高光谱影像train_ref进行高斯模糊， 同时传入参数ksize＝(5， 5)， sigmaX＝2， 得到高光谱影 像train_lr′∈RP′ ×Q′ ×C； 对高光谱影像train_lr ′进行4倍下采样， 传入参数dsize＝(P ′//4， Q′//4)， 其中 “//”权　利　要　求　书 1/8 页 2 CN 114936967 A 2为整数除法操作， 返回商的整数部分， 得到训练集高光谱影像train_lr∈Re×f×C， 其中e×f 为下采样后所 得高光谱影 像train_lr每一波段影 像的空间大小， 且有e＝P ′//4， f＝Q′//4； 最后， 从高光谱影像train_ref中抽取c个通道， 得到训练集多光谱影像train_hr∈RP ′ ×Q′ ×c， 抽样方式为等距抽样， 所述P ′ ×Q′为所得多光谱影像train_hr每一波段影像的空间 大小； 步骤1.6从高光谱影像train_ref∈RP′ ×Q′ ×C中随机截取出一个与高光谱影像test_ref ∈RA×B×C尺寸相同的高光谱影 像image_ref∈RA×B×C； 对高光谱影像image_ref进行下采样操作， 空间大小乘数取1/4， 得到下采样后高光谱 影像 作为训练用高光谱影 像Lr； 最后从训练集多光谱影像train_hr中， 截取出与高光谱影像image_ref在高光谱影像 train_ref中的对应位置的多光谱影 像image_hr∈RA×B×c， 作为训练用多光谱影 像Hr。 3.根据权利要求2所述的基于空谱联合感知注意力的高光谱影像超分辨率重建方法， 其特征在于所述 步骤2具体如下： 设置总体神经网络迭代次数T， 初始最佳峰值信噪比psnr_b＝0， 令epoch＝1， 开始构建 最佳网络模型； 所述步骤2.1训练 空间注意力提取模块得到总训练集的空间注意力Spai具体如下： 步骤2.1.1.1使用一组卷积层Conv2_0对多光谱影像Hr进行特征提取， 得到特征图Hr1∈ RH×W×C； 其中H×W为Hr的每一波段的空间大小， C为高光谱影 像Lr的波段 数； 所述Conv2_0包含1层卷积操作和1层激活操作， 其中， 卷积层含有C个大小为3 ×3的卷 积核， 进行Padding＝1的边界填充操作， 每个卷积核以1个像素为步长进行卷积运算， 并选 用非线性激活函数ReLU作为激活函数进行运 算； 步骤2.1.1.2构建空间注意子模块SpaAM， 执 行步骤如下： 首先调用封装好的torch.mean函数返回输入特征图按通道 维求平均 值的结果， 得到特 征图avg_sa； 再调用封装好的torch.max函数返回输入特征图按通道维求最大值的结果， 得到特征 图max_sa； 再调用封装好 的torch.cat函数按通道维连接特征图avg_sa和特征图max_sa， 得到特 征图avg_max； 最后使用一组卷积层Co nv2_1对特 征图avg_max进行 特征提取， 得到空间注意； 所述Conv2_1包含1层卷积操作和1层激活操作， 其中， 卷积层含有1个大小为7 ×7的卷 积核， 进行Padding＝3的边界填充操作， 每个卷积核以1个像素为步长进行卷积运算， 并选 用非线性激活函数Sigmo id作为激活函数进行运 算； 步骤2.1.1.3使用空间注意子模块SpaAM对特征图Hr1进行特征提取， 得到空间注意Spa1 ∈RH×W×1； 步骤2 .1 .1 .4使用离散小波变换DWT对特征图Hr1进行下采样， 得到特征图 步骤2.1.1.5使用一组卷积层Conv2_2对特征图Hr1D进行特征提取， 得到特征图权　利　要　求　书 2/8 页 3 CN 114936967 A 3