(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639212.0 (22)申请日 2021.12.2 9 (71)申请人 中国科学院西安 光学精密机 械研究 所 地址 710119 陕西省西安市长安区郭杜街 道创新路西安 光机所 (72)发明人 郭惠楠　姚志强　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 代理人 周新楣 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Y型金字塔网络的多谱 段图像融合 方法 (57)摘要 本发明公开了一种基于Y型金字塔网络的多 谱段图像融合方法， 用于异源图像融合领域， 包 括以下步骤： S1： 获取训练集、 扩增训练集； S2： 构 建Y型网络； 所述Y型网络包 括： 分支网络、 主支网 络； 所述分支网络采用金字塔网络分别提取可见 光图像特征和红外光图像特征， 所述主支网络融 合所述分支网络提取的可见光图像特征和红外 光图像特征； S3： 将训练集输入所述分支网络对 所述分支进行训练， 根据损失函数对 所述主支网 络进行训练， 得到完成训练的所述Y型网络； S4: 将可见光图像特征和红外光图像特征输入完成 训练的所述Y型网络生成融合图像。 本发明生成 的融合图像具有明显的红外目标的同时， 可见光 的纹理细节信息得到保留且结构损失较小。 权利要求书2页 说明书6页 附图2页 CN 114283104 A 2022.04.05 CN 114283104 A 1.一种基于 Y型金字塔网络的多谱段图像融合方法， 其特 征在于， 包括以下步骤： S1： 获取训练集、 扩增训练集； S2： 构建Y型网络； 所述Y型网络包括： 分支网络、 主支网络； 所述分支网络采用金字塔网络分别提取可见 光图像特征和红外光图像特征， 所述主支网络融合所述分支网络提取的可见光图像特征和 红外光图像特 征； S3： 将训练集输入所述分支网络对所述分支进行训练， 根据损失函数对所述主支网络 进行训练， 得到 完成训练的所述Y型网络； S4:将可见光图像特 征和红外光图像特 征输入完成训练的所述Y型网络生成融合图像。 2.根据权利要求1所述一种基于Y型网络的多谱段图像融合方法， 其特征在于， 所述S1： 获取训练集、 扩增训练集的具体内容 为： 从TNO数据集中随机 选取n对已配对的红外与可 见光图像对作为训练集； 在训练时， 对从所述TNO数据集中获取的原始红外和可见光图像进行随机裁剪作为扩 增训练集。 3.根据权利要求1所述一种基于Y型网络的多谱段图像融合方法， 其特征在于， 所述分 支网络包括： 红外分支网络、 可 见光分支网络； 所述红外分支网络结构为： 第一层， 特征提取卷积层； 第二层， 一个二层残差金字塔卷 积块、 卷积注 意力模块、 批量归一化层、 激活函数为P ‑relu的激活层； 第三层： 一个三层残差 金字塔卷积块、 卷积注 意力模块、 批量归一化层、 激活函数为P ‑relu的激活层； 第四层： 一个 四层残差金字塔卷积块、 卷积注意力模块、 批量归一 化层、 激活函数为P ‑relu的激活层； 所述可见光分支网络结构为： 第一层， 特征提取卷积层； 第二层， 一个二层残差金字塔 卷积块、 批量归一化层、 激活函数为P ‑relu的激活层； 第三层： 一个三层残差金字塔卷积块、 批量归一化层、 激活函数为P ‑relu的激活层； 第四层： 一个四层残差金字塔卷积块、 批量归 一化层、 激活函数为P ‑relu的激活层。 4.根据权利要求1所述一种基于Y型网络的多谱段图像融合方法， 其特征在于， 所述主 支网络结构包括 三层卷积神经网络； 所述卷积神经网络结构为： 卷积层 ‑批量归一 化层‑激活函数为P ‑relu的激活层。 5.根据权利要求1所述的一种基于Y型网络的多谱段图像融合方法， 其特征在于， 所述 损失函数表达式为： Loss＝Lgen+λLres                                         (1) 其中， Lgen为生成损失， Lres为重建损失， λ为常数用来平衡二 者权重； 所述生成损失函数表达式为： Lgen＝Lrf+α Lvf+β Lpr                                      (2) 其中， Lrf是融合图像与红外光图像的亮度损失， Lvf是融合图像与可见光图像的梯度损 失， Lpr为感知损失， α 是梯度损失的权 重系数， β 是感知损失的权 重系数； 所述重建损失函数表达式为： 其中， Ir(x,y)为原始的红外光图像， Iv(x,y)为原始的可见光图像， Io(x,y)是网络的输出， 原权　利　要　求　书 1/2 页 2 CN 114283104 A 2始的红外图像、 原 始的可见光图像和输出的融合图像的宽均为 W,高均为H， 大小均为 W*H。 6.根据权利要求3所述的一种基于Y型网络的多谱段图像融合方法， 其特征在于， 所述 卷积注意力模块中设有通道 注意力模块、 空间注意力模块； 所述卷积注意力模块沿着两个独立的维度， 依次推断注意力图， 并将推断结果图与输 入特征图相乘以进行自适应特 征优化； 所述两个独立的维度为与 所述通道注意力模块、 所述空间注意力模块分别对应的通道 维度和空间维度。 7.根据权利要求6所述的一种基于Y型网络的多谱段图像融合方法， 其特征在于， 所述 金字塔网络包括： 残差块、 金字塔卷积； 所述金字塔卷积嵌入到所述残差块中； 其中， 所述金字塔卷积包 含一个核金字塔， 每一层包 含不同类型的滤波 核。 8.根据权利要求7所述的一种基于Y型网络的多谱段图像融合方法， 其特征在于， 推断 所述注意力图的具体过程包括： ①所述通道注意力模块将所述残差块输出的特 征图作为输入特 征图； 将所述残差块输出的特征图先分别经过基于宽和高的全局最大池化和全局 平均池化， 再分别经 过全连接层； 并将全连接层输出的全部特征进行逐元素的加和 操作， 再经过sigmoid激活操作， 生成 通道注意力特 征图； ②将所述通道注意力特征图和所述残差块输出的特征图做逐元素乘法操作结果作为 所述空间注意力模块输入特 征图； 将所述通道注意力特征图先分别经过基于通道的全局最大池化和全局平均池化得到 第一结果、 第二结果； 将第一结果、 第二结果基于通道做拼接操作， 并依次进行卷积操作、 sigmoid激活操作 生成降维为 一个通道的空间注意力特 征图， 作为所述推断结果图。权　利　要　求　书 2/2 页 3 CN 114283104 A 3