(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540901.4 (22)申请日 2022.05.17 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 杜博　杨佳琪　张良培　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于中心-领域交互式学习的高光谱图像 分 类方法及系统 (57)摘要 本发明公开了一种基于中心 ‑领域交互式学 习的高光谱图像 分类方法及系统， 首先引入了中 心观察像素和 邻域辅助像素的概念， 利用基于区 域分割思想的分级区域采样策略以每个中心观 察像素为中心由近及远地生 成中心区域、 近邻区 域和周围区域， 为后续处理提供数据支持。 然后 将包含中心观察像素的中心区域送入中心 Transformer分支， 获得细粒度的特征表达。 接着 将包含邻域辅助像素的近邻区域和周围区域送 入邻域Transformer分支， 获得粗粒度的特征表 达。 最后将上述两个分支输出的特征进行融合， 送入多层感知机完成分类。 本发 明所述的方法不 仅顾及地物的低级细节特征， 而且保留全局的高 级语义信息， 能够增强高光谱图像分类性能。 权利要求书3页 说明书7页 附图2页 CN 114821186 A 2022.07.29 CN 114821186 A 1.一种基于中心 ‑领域交互式学习的高光谱图像分类方法， 其特征在于， 包括以下步 骤： 步骤1： 输入原始高光谱图像和地物真实分布标签 图， 确定需要保留的主成分数量p和 提取图像块的尺寸 w； 步骤2： 对原 始高光谱图像进行降维处 理， 获得低维表达； 步骤3： 对于降维后的高光谱图像， 在每个像素周围选取尺寸为(1/3)w ×(1/3)w×p的 图像块作为中心区域， 输入到中心Transformer分支， 得到中心Transformer分支的输出特 征； 步骤4： 以中心区域为焦点， 由近及远分别选取w ×w×p和5w×5w×p的图像块作 为近邻 区域和周围区域， 并在周围区域里构建周围区域网格， 然后将近邻区域与周围区域结合， 输 入到邻域Transformer分支， 得到邻域Transformer分支的输出 特征； 步骤5： 将步骤3和步骤4的输出特征融合， 得到中心 ‑邻域交互式学习后的联合特征， 将 联合特征送入多层感知机进行分类； 步骤6： 对于高光谱图像里每 个像素， 重复步骤3—5， 完成对整幅图像的分类。 2.根据权利要求1所述的基于中心 ‑领域交互式学习的高光谱图像分类方法， 其特征在 于： 步骤1中， 主成分数量和提取图像块尺寸设置为固定值， 且图像块尺寸的长度值与宽度 值相同； 主成分数量和提取图像块尺寸取值范围分别应为5 ‑8、 25‑29。 3.根据权利要求1所述的基于中心 ‑领域交互式学习的高光谱图像分类方法， 其特征在 于： 步骤2中， 采用主成分分析算法对原始高光谱图像进行降维处理， 降维过程具体包括如 下子步骤： 步骤2.1： 计算高光谱图像 的协方差矩阵C； 其中， m为图像像元总数， n为光谱特 征总数， 表示实数域； 步骤2.2： 针对协方差矩阵C进行奇异值分解， 得到矩阵C特 征值与对应特 征向量； 步骤2.3： 将步骤2.2得到的特征值按数值大小进行降序排序， 特征向量按特征值的顺 序也对应排序； 步骤2.4： 取步骤2.3排序后前p个特 征向量u1,u2,…up组成矩阵 步骤2.5： 通过公式Z＝XU计算， 得到降维后图像数据Z。 4.根据权利要求1所述的基于中心 ‑领域交互式学习的高光谱图像分类方法， 其特征在 于： 步骤3中， 所述中心Transformer分支， 包括第一层正则化模块、 多头自注 意力模块、 第二 层正则化模块、 前馈网络模块、 第一个残差连接模块和第二个残差连接模块； 所述第一层正则化模块， 用于将输入数据转成1024维度， 然后输入所述多头自注意力 模块； 所述多头自注意力 模块， 首先将输入的查询和键值进行相乘， 再通过Softmax层获得注 意力图， 然后将注意力图和待计算 值进行相乘后线性投影， 并输入所述第二层正则化模块； 所述第二层正则化模块， 用于将输入数据转成1024维度， 然后输入所述前馈网络模块； 所述前馈网络模块， 用于将输入数据依次通过线性函数、 高斯误差线性单元函数、 随机 丢弃函数、 线性 函数、 随机 丢弃函数， 获得处 理后的值； 所述第一个残差连接模块， 用于将原 始数据和多头自注意力模块输出值进行相加；权　利　要　求　书 1/3 页 2 CN 114821186 A 2所述第二个残差连接模块， 用于将第 一个残差连接输出值和前馈网络模块输出值进行 相加。 5.根据权利要求1所述的基于中心 ‑领域交互式学习的高光谱图像分类方法， 其特征在 于： 步骤4中， 所述邻域Transformer分支， 包括第一层正则化模块、 交互式自注 意力模块、 第 二层正则化模块、 前馈网络模块、 第一个残差连接模块、 第二个残差连接模块； 所述第一层正则化模块， 用于将输入数据转成1024维度， 然后输入所述交互式自注意 力模块； 所述交互式自注意力模块， 首先将输入的周围区域进行端元转换和线性投影获得查 询， 然后将输入的周围区域进行端元转换和线性投影获得键值和待计算值， 然后将查询和 键值相乘通过Softmax层获得注 意力图， 接着将注 意力图和待计算值相乘， 并输入 所述第二 层正则化模块； 所述第二层正则化模块， 用于将输入数据转成1024维度， 然后输入所述前馈网络模块； 所述前馈网络模块， 用于将输入数据依次通过线性函数、 高斯误差线性单元函数、 随机 丢弃函数、 线性 函数、 随机 丢弃函数， 获得处 理后的值； 所述第一个残差连接模块， 用于将原 始数据和交 互式自注意力模块输出值进行相加； 所述第二个残差连接模块， 用于将第 一个残差连接输出值和前馈网络模块输出值进行 相加。 6.根据权利要求1所述的基于中心 ‑领域交互式学习的高光谱图像分类方法， 其特征在 于： 步骤5中， 将步骤3和步骤4的输出 特征融合， 融合方式为： o＝oc+os       (1) 其中， o是融合后的特征， oc是中心Transformer分支输出的特征， os是邻域Transformer 分支输出的特 征， +代表逐元素相加操作。 7.根据权利要求1所述的基于中心 ‑领域交互式学习的高光谱图像分类方法， 其特征在 于： 步骤5中， 所述将联合特 征送入多层感知机进行分类， 所述多层感知机， 用于将输入数据依次通过层正则化函数和线性函数， 将网络输出值 转化为预测标签， 完成分类过程。 8.一种基于中心 ‑领域交互式学习的高光谱图像分类系统， 其特征在于， 包括以下模 块： 模块1， 用于输入原始高光谱图像和地物真实分布标签图， 确定 需要保留的主成分数量 p和提取图像块的尺寸 w； 模块2， 用于对原 始高光谱图像进行降维处 理， 获得低维表达； 模块3， 用于对于降维后的高光谱图像， 在每个像素周围选取尺寸为(1/3)w ×(1/3)w× p的图像块作为中心区域， 输入到中心Transformer分支， 得到中心Transformer分支的输出 特征； 模块4， 用于以中心区域为焦点， 由近及远分别选取w ×w×p和5w×5w×p的图像块作 为 近邻区域和周围区域， 并在周围区域里构建周围区域网格， 然后将近邻区域与周围区域结 合， 输入到邻域Transformer分支， 得到邻域Transformer分支的输出 特征； 模块5， 用于将模块3和模块4的输出特征融合， 得到中心 ‑邻域交互式学习后的联合特 征， 将联合特 征送入多层感知机进行分类；权　利　要　求　书 2/3 页 3 CN 114821186 A 3