(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210573700.4 (22)申请日 2022.05.24 (71)申请人 中国科学院空天信息创新研究院 地址 100094 北京市海淀区邓庄南路9号 (72)发明人 刘鹏　宋秉泽　何国金　刘梦佳　 谢高亮　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 乔慧 (51)Int.Cl. G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 20/10(2022.01) (54)发明名称 基于生成对抗网络的多级特征时空遥感图 像融合方法 (57)摘要 本发明提供一种基于生成对抗网络的多级 特征时空遥感图像融合方法。 本发 明中的生成对 抗网络由条件生成器网络和鉴别器网络构成， 条 件生成器网络采用图像特征提取网络、 图像特征 融合网络、 图像重建网络来提取、 融合多级特征， 并依靠多级特征重建影像， 以处理 高分辨率影像 和低分辨率影像的巨大差异。 在特征融合阶段， 设计了自适应实例标准化模块来处理多时相图 像之间的全局变化关系， 并设计了注 意力模块来 处理局部变化关系。 经过对条件生成器网络和鉴 别器网络的交替训练， 可利用训练好的条件生成 器网络解决遥感时空影像融合问题， 生成融合的 预测时间高分辨 率影像。 权利要求书2页 说明书12页 附图4页 CN 115131637 A 2022.09.30 CN 115131637 A 1.一种基于生成对抗网络的多 级特征时空遥感图像融合方法， 其特 征在于， 包括： 获取目标参考 时间高分辨率真实影像、 目标参考 时间低分辨率真实影像和目标预测时 间低分辨 率真实影 像； 将所述目标参考时间高分辨率真实影像、 所述目标参考时间低分辨率真实影像、 所述 目标预测时间低分辨率真实影像输入训练好的条件生成器网络进行多级特征时空遥感 图 像融合， 生成目标 预测时间高分辨 率影像； 其中， 所述条件生成器网络包括图像特征提取网络、 图像特征融合网络和图像重建网 络； 所述训练好的条件生成器网络由训练好的条件生成对抗网络得到， 所述训练好的条件 生成对抗网络为 通过如下步骤训练得到： 构建样本集， 所述样本集中包括样本参考时间高分辨率真实影像、 样本参考时间低分 辨率真实影 像、 样本预测时间低分辨 率真实影 像和样本预测时间高分辨 率真实影 像； 通过所述样本参考时间高分辨率真实影像、 所述样本参考时间低分辨率真实影像、 所 述样本预测时间低分辨率真实影像和所述样本预测时间高分辨率真实影像， 依据损失函数 对条件生成器网络的图像特征提取网络、 图像特征融合网络和图像重建网络， 以及鉴别器 网络进行多级特征时空遥感图像融合训练， 得到训练好的条件生成对抗网络， 所述训练好 的条件生成对抗网络包括训练好的条件生成器网络和训练好的鉴别器网络 。 2.根据权利要求1所述的基于生成对抗网络的多级特征时空遥感图像融合方法， 其特 征在于， 所述通过所述样本参考时间高分辨率真实影像、 所述样本参考时间低分辨率真实 影像、 所述样本预测时间低分辨率真实影像和所述样本预测时间高分辨率真实影像， 依据 损失函数对条件生成器网络的图像特征提取网络、 图像特征融合网络和图像重建网络， 以 及鉴别器网络进行多级特征时空遥感 图像融合训练， 得到训练好的条件生成对抗网络， 包 括： 基于所述样本参考时间高分辨率真实影像、 所述样本参考时间低分辨率真实影像、 所 述样本预测时间低分辨率真实影像和所述条件生成器网络的图像特征提取网络、 图像特征 融合网络和图像重建网络， 生成样本预测时间高分辨 率估计影像； 基于所述样本预测时间高分辨率估计影像、 所述样本预测时间低分辨率真实影像、 所 述样本预测时间高分辨 率真实影 像和所述 鉴别器网络， 生成鉴别结果； 根据所述样本参考时间高分辨率真实影像、 所述样本参考时间低分辨率真实影像、 所 述样本预测时间低分辨率真实影像、 所述样本预测时间高分辨率真实影像、 所述样本预测 时间高分辨 率估计影像和所述 鉴别结果计算损失函数； 根据所述损失函数对所述条件生成器网络的参数和所述鉴别器网络的参数进行更新， 并返回重新执行所述将所述样本参考时间高分辨率真实影像、 所述样本参考时间低分辨率 真实影像、 所述样本预测时间低分辨率真实影像输入所述条件生成器网络， 生成样本预测 时间高分辨 率估计影像； 在满足预设条件的情况下， 将所述条件生成器网络确定为训练好的条件生成器网络， 将所述鉴别器网络确定为训练好的鉴别器网络， 得到训练好的条件生成对抗网络 。 3.根据权利要求2所述的基于生成对抗网络的多级特征时空遥感图像融合方法， 其特 征在于， 所述基于所述样本参考时间高分辨率真实影像、 所述样本参考时间低分辨率真实权　利　要　求　书 1/2 页 2 CN 115131637 A 2影像、 所述样本预测时间低分辨率真实影像和所述条件生成器网络的图像特征提取网络、 图像特征融合网络和图像重建网络， 包括： 基于所述图像特征提取网络分别提取所述样本参考 时间高分辨率真实影像、 所述样本 参考时间低分辨 率真实影 像和所述样本预测时间低分辨 率真实影 像的多级特征； 基于所述图像特征融合网络对所述样本参考 时间高分辨率真实影像、 所述样本参考 时 间低分辨率真实影像和所述样本预测时间低分辨率真实影像的多级特征进 行融合， 得到融 合多级特征； 基于所述图像重建网络根据所述融合多级特征和所述样本预测时间低分辨率真实影 像的多级特征进行上采样重建， 得到样本预测时间高分辨 率估计影像。 4.根据权利要求3所述的基于生成对抗网络的多级特征时空遥感图像融合方法， 其特 征在于， 所述图像特 征融合网络包括自适应实例标准 化模块和注意力机制模块； 所述基于所述图像特征融合网络对所述样本参考 时间高分辨率真实影像、 所述样本参 考时间低分辨率真实影像和所述样本预测时间低分辨率真实影像的多级 特征进行融合， 得 到融合多 级特征， 包括： 通过所述自适应实例标准化模块对所述样本预测时间低分辨率真实影像的多级特征、 所述样本参 考时间高分辨 率真实影 像的多级特征进行全局融合， 得到初始融合多 级特征； 所述自适应实例标准 化模块通过如下公式进行全局融合： 其中， AdaIN( ·)表示所述初始融合多级特征， σ( ·)表示方差运算， μ( ·)表示均值运 算， x表示所述样本参考时间高分辨率真实影像的多级特征， y表示所述样本预测时间低分 辨率真实影 像的多级特征； 通过所述注意力 机制模块根据 所述样本预测时间低分辨率真实影像的多级特征、 所述 样本参考时间低分辨率真实影像的多级特征生成显著性图， 根据所述显著性图、 所述样本 预测时间低分辨 率真实影 像和所述初始融合特 征进行局部融合， 得到融合多 级特征。 所述注意力机制模块 通过如下公式进行局部融合： C＝MA+(1 ‑M)B 式中， C为组成所述融合多级特征的单层特征， M为单层所述显著性图， A为所述样本预 测时间低分辨 率真实影 像的单层特 征， B为所述初始融合多 级特征中的单层特 征。权　利　要　求　书 2/2 页 3 CN 115131637 A 3