(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210913725.4 (22)申请日 2022.08.01 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 陈亚雄　张波　师悦天　张志鹏　 熊盛武　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种联合多注意及Tran sformer的高光谱图 像分类方法 (57)摘要 本 发 明 公 开 了 一 个 联 合 多 注 意 和 Transformer  Encoder结构的网络来充分提取 HSI的空间光谱特征。 多注意模块包括通道注意 和空间注 意， 以进一步关注重要频带和区域的信 息。 此外， 本发明还提出了一种多层密集自适应 融合模块， 以充分集成浅层、 中层和深层信息。 使 得特征表示和学习后的混合信息包含了多层次 的特征。 另外， 我们提出了一个在标签平滑交叉 熵的基础上调整的Lpoly损失来动态地改变地物 类别真实预测标签的概率。 该网络在三个公共高 光谱分类数据集上进行了测试， 显示了良好的分 类性能。 结果表明， 该方法对提取高光谱图像中 的深层语义信息非常有效。 权利要求书2页 说明书8页 附图3页 CN 115439679 A 2022.12.06 CN 115439679 A 1.一种联合多注意及Transformer的高光谱图像分类方法， 其特征在于， 包括如下步 骤： 步骤1， 划分训练数据集和 测试数据集； 步骤2， 针对训练数据集中的原 始高光谱数据， 对其进行降维； 步骤3， 对降维后的数据将其分成若干个数据立方体块并执行三维卷积层， 获得三维特 征图； 步骤4， 执 行包含通道注意、 二维卷积层和空间注意的多注意力模块， 获得二维特 征图； 步骤5， 将每 个二维特 征映射展平成一个一维特 征向量； 步骤6， 通过高斯加权特 征表示器模块 生成语义标记； 步骤7， 将一个全零向量作为可学习分类标记与步骤6 中生成的语义标记连接起来形成 融合后的语义标记， 连接起来形成融合后的语义标记， 并在融合后的语义标记上嵌入位置 信息； 步骤8， 执行多层密集自适应融合模块对嵌入位置信息的融合后的语义标记进行特征 提取； 步骤9， 将第一个分类标记输入到最后一个线性层； 步骤10， 使用softmax函数来识别标签； 步骤11， 设计损失函数训练由步骤3 ‑步骤10构成的整体网络， 然后针对测试数据集进 行测试。 2.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特征 在于： 步骤2中对于使用主成分分析对高光谱图像执行降维操作， 将降维后的频带数设置为 40。 3.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类网络， 其特征 在于： 步骤3中， 将每个提取的立方体块的大小设置为13 ×13×40， 三维卷积层使用了16个 大小为3×3×3的卷积核， 以生成16个大小为1 1×11×38的特征图。 4.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特征 在于： 步骤4中通道 注意的处 理过程如下； 对于输入特征， 聚合平均池化层和最大池化层， 然后将得到的两个不同的空间上下文 描述符Favg和Fmax输入到同一共享的多层感知器MLP中， 其中MLP的隐藏激活大小设置为R， 然 后逐元素求和得到最终的输出 特征， 该过程用数 学公式表示 为： 其中Sig为sigmo id函数， W0∈RC/r×C， MLP权重W0和W1是共享的， ReLU激活函数后面是W0。 5.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特征 在于： 步骤4中， 在二维卷积层中使用了 64个3×3大小的卷积核来获得64个9 ×9的特征图。 6.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特征 在于： 对于空间注 意力模块部分， 首先将输入特征F通过平均池化和最大池化操作分别获取 特征 和 将结果特 征连接起来， 最后使用卷积层生成空间注意特 征图； 权　利　要　求　书 1/2 页 2 CN 115439679 A 2其中Sig为sigmo id函数， f3×3表示卷积核大小为3 ×3的卷积运 算。 7.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特征 在于： 步骤6中生成语义标记的过程如下； 设置其输入的展平特征映射被定义为X∈Rhw×c， 其中h为高度， w是宽度， c是通道的数 量， 将输入的特征X与初始化高斯分布的权重W进行点积操作， 然后， 将其转置， 并使用 softmax函数来关注相对重要的语义部分得到A； 最后， A与X相乘， 生 成语义标记， 即公 式(3) 中的T， 获得的语义组的大小为T∈Rt×c， 其中t表示标记的数量； 其中， A用softmax(X*W)T表 示， 公式表示如下： T＝softmax(X*W)TX                                                (3) 其中， X为输入特征， W表示初始化高斯分布的权矩阵， 大小为W∈Rc×t， *表示1×1点积操 作。 8.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特征 在于： 步骤8中的多层密集自适应融合模块包含一个3层的Transformer  Encoder结构， 另 外， 采取的跨层连接方式为： 先将第一层得到的特征与第三层自适应融合， 再将融合后的信 息与第二层特 征执行自适应融合。 9.如权利 要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特征 在于： 步骤11中使用的损失函数是在标签平滑交叉熵的基础上对第一项多项式进行调整， 将改进后的loss取名Lpoly  loss， 设Pt是模型对目标地面真实类别的预测概率， 详细推理 步骤如下： 首先， (1‑Pt)i的交叉熵(Cros s‑Entropy,CE)损失的泰勒展开 为： 利用梯度下降法优化交叉熵损失需要采用Pt的梯度： 基于标签光滑交叉熵， 调整了交叉熵的第一个多项式系数， 这样就可以根据任务以及 数据集本身的差异性动态地调整地物类别真实预测标签的概 率， 公式表示如下： 其中CE(i)表示i的标准交叉熵损失， λ是一个小的正数， ε是一个大于 ‑1的数， i是正确 的类， N是类的数量， Pt是模型对目标地 面真实类的预测概 率。 10.如权利要求1所述的一种联合多注意及Transformer的高光谱图像分类方法， 其特 征在于： 训练整体网络时， 使用Adam算法进行优化， 学习率设置为10‑3， 批量大小设置为64， 训练300轮迭代， 通过训练模型从而得到网络的权 重参数W和偏置参数B。权　利　要　求　书 2/2 页 3 CN 115439679 A 3