(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111670503.6 (22)申请日 2021.12.31 (71)申请人 云南大学 地址 650091 云南省昆明市翠湖北路2号 (72)发明人 金鑫　冯佳男　江倩　冯雨婷　 王汝欣　刘玲　董云云　王普明　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 代理人 刘芳 (51)Int.Cl. G06V 20/10(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 基于神经网络的遥感图像彩色化和超分辨 率方法及系统 (57)摘要 本发明涉及一种基于神经网络的遥感图像 彩色化和超分辨率方法及系统， 该方法包括： 获 取待处理的遥感图像； 对遥感图像进行预处理， 得到低分辨率遥感图像； 构建残差卷积分支网 络； 根据残差卷积分支网络构建MRB网络； 根据 MRB网络提取低分辨率遥感图像的高维特征信 息； 获取改进 的U‑net++网络对所述高维特征信 息进行处理， 得到特征图； 利用卷积计算对特征 图进行处理， 得到高分辨率彩色图像。 本发明能 够提高遥感图像彩 色化和超分辨 率的效果。 权利要求书1页 说明书9页 附图7页 CN 114332625 A 2022.04.12 CN 114332625 A 1.一种基于神经网络的遥感图像彩色化和超分辨 率方法， 其特 征在于， 包括： 获取待处 理的遥感图像； 对所述遥感图像进行 预处理， 得到低分辨 率遥感图像； 构建残差卷积分支网络； 根据所述残差卷积分支网络构建MRB网络； 根据所述MRB网络提取 所述低分辨 率遥感图像的高维特 征信息； 获取改进的U ‑net++网络； 根据所述改进的U ‑net++网络对所述高维特 征信息进行处 理， 得到特 征图； 利用卷积计算对所述特 征图进行处 理， 得到高分辨 率彩色图像。 2.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法， 其特征在 于， 所述预处 理包括下采样和灰度化。 3.根据权利要求2所述的基于神经网络的遥感图像彩色化和超分辨率方法， 其特征在 于， 采用BiCubic插值 算法对所述遥感图像进行 下采样操作。 4.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法， 其特征在 于， 所述MRB网络以平行的方式组织四个残差卷积分支网络， 在每个所述残差卷积分支网络 中均引入了 跳层连接来进一 步保持梯度。 5.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法， 其特征在 于， 所述根据MRB网络提取 所述低分辨 率遥感图像的高维特 征信息， 具体包括： 将所述低分辨 率遥感图像输入所述MRB网络， 得到第一特 征信息； 将所述第一特 征信息再次输入所述MRB网络， 得到所述高维特 征信息。 6.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法， 其特征在 于， 所述改进的U ‑net++网络包括IDB子网络、 IMUB子网络和ATB子网络， 所述IDB子网络用于 特征提取， 所述 IMUB子网络用于特 征重建， 所述ATB子网络用于 跳跃连接。 7.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法， 其特征在 于， 采用cvtCo lor函数对所述遥感图像进行 灰度化处 理。 8.一种基于神经网络的遥感图像彩色化和超分辨 率系统， 其特 征在于， 包括： 图像获取模块， 用于获取待处 理的遥感图像； 预处理模块， 用于对所述遥感图像进行 预处理， 得到低分辨 率遥感图像； 残差卷积分支网络构建模块， 用于构建残差卷积分支网络； MRB网络构建模块， 用于根据所述残差卷积分支网络构建MRB网络； 特征提取模块， 用于根据所述MRB网络提取 所述低分辨 率遥感图像的高维特 征信息； 网络获取模块， 用于获取改进的U ‑net++网络； 特征图模块， 用于根据所述改进的U ‑net++网络对所述 高维特征信息进行处理， 得到特 征图； 卷积计算模块， 用于利用卷积计算对所述特 征图进行处 理， 得到高分辨 率彩色图像。权　利　要　求　书 1/1 页 2 CN 114332625 A 2基于神经 网络的遥感图像彩色化和超分辨 率方法及系统 技术领域 [0001]本发明涉及计算机视觉领域， 特别是涉及 一种基于神经网络的遥感图像彩色化和 超分辨率方法及系统。 背景技术 [0002]遥感图像是记录了丛林、 地面田径、 矩形农田、 房屋建筑、 山地等各种地物的电磁 波反射照 片， 其蕴含的遥感信息， 除了能够真实形象地展示地物分布现状， 还能发现地物间 相互影响变化的情况。 遥感图像凭借信息量大、 宏观、 和 动态监测等特点可有效帮助人们观 察了解地球信息。 近年来， 遥感图像与场景分类、 目标检测、 目标定位等多种技术结合为人 们提供了许多 有价值的实际应用。 [0003]图像彩色化为目标灰度图像的每个像素分配合适的颜色， 从而增加图像的色彩信 息， 提高视觉效果。 近年来， 图像彩色化技术在历史照 片还原、 影视制作、 壁画 修复等方面得 到广泛应用。 因此， 将彩色化技术应用于遥感图像， 可通过丰富遥感图像视觉信息进一步提 升其可读性。 [0004]目前， 针对图像彩色化问题存在多种解决方案， 这些方案大致可以分为三类： 基于 涂鸦的彩色化方法、 基于参考图的彩色化方法和基于学习的彩色化方法。 (1)基于涂鸦的彩 色化方法需要手动向目标图像添加颜色线 条， 通过扩散或变分等方法将涂鸦扩散到整幅图 像， 以此完成图像彩色化。 由于 真实图像的复杂性和多样性， 人类很难通过颜色线 条为每个 特定区域指定合适的色彩。 (2)基于参考图的彩色化方法是把参考图像的色彩信息转移到 目标灰度图像上， 然而 该方法需要 人为设定参考图像。 在实际应用中， 选择合适的彩色参考 图像非常困难。 以上两种方法不仅需要大量的人工介入， 而且其性能严重依赖于人工涂鸦 色彩和参考图像色彩， 错误的涂鸦信息或色彩参考有 可能造成不合常理的彩色化效果。 (3) 随着深度学习的引入， 基于深度学习的图像彩色化方法应运而生， 该类方法利用卷积神经 网络、 生成对抗网络等模型直接将输入的灰度图像转换成彩色图像， 其克服了传统彩色化 方法对人工介入的需求， 节省大量资源。 [0005]Zhang等人将图像彩色化视为分类问题， 将图像亮度信息输入CNN模型以得到特征 信息， 再根据颜色分布概率 获得色度信息。 该方法的网络结构 较为简单， 彩色化后的图像饱 和度较低， 且 出现了颜色溢出现象。 Iizuka等人引入全局特征提取网络， 结合先验信息完成 上色， 但该方法在颜色变化不明显的图像上会失效。 Yoo等人提出了新颖的增强型记忆网 络， 并使用条件GAN实现了小样本的彩色化， 但是GAN在学习的过程中很容易发生模型崩溃 的情况， 如:生 成器只会产生一种结果导致判别器无法有效地监督生 成器继续学习， 从而 无 法继续训练。 Su等人利用预训练的Mask  R‑CNN分割出目标图像和背景图像， 再将两者分别 上色， 最后融合 成一幅完整的彩色图像， 该方法非常依赖于分割处理算法， 对于 分割处理失 败的图像， 上色效果一般， 而且将目标图像和背景图像分开上色也会导致整体颜色过渡不 协调。 [0006]图像的超分辨率是用特定算法将同一场景中的LR图像转换成H R图像。 HR图像具有说　明　书 1/9 页 3 CN 114332625 A 3