(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221046197 7.8 (22)申请日 2022.04.28 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 朱浩　易晓宇　李晓童　焦李成　 侯彪　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 李薇 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/30(2022.01)G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自步双向对抗学习的融合遥感图像分 类方法 (57)摘要 本发明涉及一种基于自步双向对抗学习的 融合遥感图像分类方法， 包括获取第一MS图、 第 一PAN图； 根据第一MS图、 第一PAN图得到第一MS 图像块、 第一PAN图像块； 将第一MS图像块和第一 PAN图像块输入对抗网络得到第二MS图和第二 PAN图； 根据第一MS图、 第一PAN图、 第二MS图和第 二PAN图得到统一大小的第三MS图像块、 第三PAN 图像块、 第四MS图像块和第四PAN图像块； 将三元 组输入分类网络， 对得到的损失函数整合在一 起， 基于自步学习的训练策略， 得到训练好的分 类网络； 利用训练好的分类网络对待分类的图像 进行分类得到分类结果。 本发明采用自步学习的 学习训练策略， 让网络在难易样 本中先后对易样 本和难样 本进行训练， 使整个网络的训练变得平 滑且迅速， 提高网络效率。 权利要求书3页 说明书10页 附图2页 CN 114913368 A 2022.08.16 CN 114913368 A 1.一种基于自步双向对抗学习的融合遥感图像分类方法， 其特征在于， 所述融合遥感 图像分类方法包括： 步骤1、 获取第一MS图、 第一PAN图和标注部分区域的地表标签图， 所述第一MS图、 所述 第一PAN图和所述 地表标签图对应同一 地域； 步骤2、 依次分别 对所述第一MS图、 所述第一PAN图进行归一化处理、 分割处理和统一大 小处理， 对应得到多个第一MS图像块、 多个第一PAN图像块； 步骤3、 将所述第一MS图像块和所述第一PAN图像块输入至对抗网络， 对应得到第二MS 图和第二PAN图， 所述对抗网络包括 生成网络和鉴别网络； 步骤4、 以归一化后的所述第一MS图、 所述第一PAN图、 所述第二MS图和所述第二PAN图 中对应标注的像素点为中心取样 本块， 以对应得到统一大小的第三MS图像块、 第三PAN图像 块、 第四MS图像块和第四PAN图像块， 其中， 标注的像素点对应所述 地表标签图中的标注； 步骤5、 将第 一三元组和第 二三元组分别输入分类网络， 对得到的三重损失函数通过加 权的方式整合在一起， 以基于自步学习的训练策略， 得到训练好的分类网络， 所述第一三元 组包括所述第三MS图像块、 所述第三PA N图像块和所述第四MS图像块， 所述第二三元组包括 所述第三MS图像块、 所述第三PAN图像块和所述第四PAN图像块； 步骤6、 利用训练好的分类网络对待分类的图像进行分类， 以得到分类结果。 2.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法， 其特征在 于， 所述步骤2包括： 步骤2.1、 分别将对所述第一MS图和所述第一PAN图中所有像素点的值归一化到[0， 1] 之间， 归一 化公式为： 其中， pi表示图像中的任一像素值， pmin表示图像中的最小像素值， pmax表示图像中的最 大像素值； 步骤2.2、 对归一化后的所述第一MS图和所述第一PAN图分别进行分割 处理， 对应得到 多个第一MS图像块和多个第一PAN图像块； 步骤2.3、 统一所述第一MS图像块和所述第一PAN图像块的大小， 得到大小统一的所述 第一MS图像块和所述第一PAN图像块。 3.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法， 其特征在 于， 所述步骤3包括： 步骤3.1、 在随机产生的噪声数据中随机采样一噪声； 步骤3.2、 将所述噪声输入所述生成网络， 得到一组假图像， 对所述第一MS图像块、 所述 第一PAN图像块和所述 假图像均标记标签， 其中， 标签包括真实图像标签和假图像标签； 步骤3.3、 将标记标签的所述第一MS图像块、 所述第一PAN图像块和所述假图像输入所 述鉴别网络， 得到对应的概 率值； 步骤3.4、 根据所述概率值计算损失函数， 利用反向传播算法， 更新所述生成网络和所 述鉴别网络的参数， 直至所述损失函数收敛， 所述生成网络和鉴别网络的训练完成， 对应得 到第二MS图像块、 第二PAN图像块； 步骤3.5、 对所有所述第二MS图像块和所有所述第二PAN图像块分别进行组合和拼接，权　利　要　求　书 1/3 页 2 CN 114913368 A 2对应得到所述第二MS图和所述第二PAN图。 4.根据权利要求3所述的基于自步双向对抗学习的融合遥感图像分类方法， 其特征在 于， 所述生成网络共 包括五层， 其中： 所述生成网络的第一层为4*4逆卷积层， 步长为2， 填充为1， 输入通道数64， 输出通道数 256； 所述生成网络的第二层为 4*4逆卷积层， 步长为2， 填充为1， 输出通道数为128； 所述生成网络的第三层为 4*4逆卷积层， 步长为2， 填充为1， 输出通道数为64； 所述生成网络的第四层为 4*4逆卷积层， 步长为2， 填充为1， 输出通道数为 4。 5.根据权利要求3所述的基于自步双向对抗学习的融合遥感图像分类方法， 其特征在 于， 所述鉴别网络的第一层为3*3卷积层， 步长为1， 填充为 1， 输入通道数为4， 输出通道数为 64； 所述鉴别网络的第一残差块的第一层为3*3卷积层， 步长为2， 填充为1， 输出通道数为 64， 第二层为3 *3卷积层， 步长为1， 填充为1， 输出通道数为64； 所述鉴别网络的第二残差块的第一层为3*3卷积层， 步长为3， 填充为1， 输出通道数为 128， 第二层为3 *3卷积层， 步长为1， 填充为1， 输出通道数为128； 所述鉴别网络的第三残差块的第一层为3*3卷积层， 步长为3， 填充为1， 输出通道数为 256， 第二层为3 *3卷积层， 步长为1， 填充为1， 输出通道数为25 6； 所述鉴别网络的第四残差块的第一层为3*3卷积层， 步长为3， 填充为1， 输出通道数为 512， 第二层为3 *3卷积层， 步长为1， 填充为1， 输出通道数为512； 所述鉴别网络的全连接层输入512 节点， 输出64节点； 其中， 所述鉴别网络的所述第 一残差块、 所述第 二残差块、 所述第三残差块和所述第四 残差块的数量均为2。 6.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法， 其特征在 于， 所述步骤4包括： 步骤4.1、 分别将对所述第一MS图、 所述第一PAN图、 所述第二MS图和所述第二PAN图中 所有像素点的值归一 化到[0， 1]之间； 步骤4.2、 在归一化后的所述第一MS图、 所述第一PAN图、 所述第二MS图和所述第二PAN 图中找到有对应标注的像素点， 以每个像素点为中心取预设大小的邻域作为样本块， 对应 得到所述第三MS图像块、 所述第三PAN图像块、 所述第四MS图像块和所述第四PAN图像块； 步骤4.3、 统一所述第三MS图像块、 所述第三PAN图像块、 所述第四MS图像块和所述第四 PAN图像块的大小， 得到大小统一的所述第三MS图像块、 所述第三PAN图像块、 所述第四MS图 像块和所述第四PAN图像块。 7.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法， 其特征在 于， 所述步骤5包括： 步骤5.1、 将所述第一三元组和所述第二三元组分别输入分类网络， 将分别得到的三重 损失函数值 通过加权的方式整合在一 起； 步骤5.2、 求取所有整合在一起的三重损失函数值的均值， 并从所有所述第一三元组和 所述第二 三元组中挑选出三重损失函数值小于均值的样本； 步骤5.3、 利用所述样本， 重复执行步骤5.1 ‑步骤5.2， 直至达到预设条件， 得到训练好权　利　要　求　书 2/3 页 3 CN 114913368 A 3