(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210967647.6 (22)申请日 2022.08.12 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 魏琦　赵娟　宋展　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 专利代理师 孟洁 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06F 17/16(2006.01) (54)发明名称 图像融合方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了图像融合方法、 装置、 设备及 存储介质， 其中方法通过在获取到红外图像和可 见光图像后分别利用编码器提取图像特征， 再对 两者对应的图像特征进行融合， 得到融合特征， 最后利用解码器对融合特征进行解码， 得到重构 图像， 其中编码器包括第一卷积块、 第二卷积块 和阈值生 成网络， 第一卷积块对图像卷积得到第 一特征映射图， 第二卷积块对第一特征映射图卷 积得到第二特征映射图， 阈值生 成网络根据第二 特征映射图生成软阈值， 图像特征根据第一特征 映射图、 第二特征映射图、 软阈值计算得到。 本发 明通过在编码器内部引入阈值生成 网络， 对红外 图像和可见光图像进行特征提取的同时完成特 征增强， 有效降低原 始图像的噪声。 权利要求书3页 说明书10页 附图3页 CN 115375982 A 2022.11.22 CN 115375982 A 1.一种图像融合方法， 其特 征在于， 所述方法包括： 获取第一图像和第二图像， 所述第一图像和所述第二图像分属于不同的图像 类型； 将所述第一图像、 所述第 二图像分别输入至预先训练好的图像融合模型的编码器进行 特征提取， 得到第一图像特征和 第二图像特征， 所述编 码器包括第一卷积块、 第二卷积块和 阈值生成网络， 所述第一卷积块对图像卷积得到第一特征映射图， 所述第二卷积块对所述 第一特征映射图卷积得到第二特征映射图， 所述阈值生成网络根据所述第二特征映射图生 成软阈值， 图像特征根据所述第一特征映射图、 所述第二特征映射图、 所述软阈值计算得 到； 利用所述图像 融合模型的融合层将所述第 一图像特征、 所述第 二图像特征进行加权融 合， 得到融合图像特 征； 将融合图像特 征输入至所述图像融合模型的解码器进行解码， 得到最终的重构图像。 2.根据权利要求1所述的图像融合方法， 其特征在于， 卷积块对图像卷积得到特征映射 图的过程表示 为： 其中， 表示所述第k卷积块对图像卷积生成的特征映射图， a(m)表示卷积块的卷积 矩阵， b(m)表示卷积块的偏置参数， m表示 通道数目， 表示卷积， δ表示激活函数。 3.根据权利要求1所述的图像融合方法， 其特征在于， 所述阈值生成网络包括绝对值处 理及全局平均池化层、 第一全连接层、 批量归一化层、 ReLU激活函数、 第二全连接层和 sigmoid激活函数， 所述软阈值的生成过程表示 为： 其中， α 表示所述软 阈值， F表示全连接计算， sigmoid表示sigmoid激活函数， δ表示ReLU 激活函数， W表示卷积矩阵， 表示所述第二特征 映射图的绝对值进行全局平均池化得 到的第三特 征映射图， m表示 通道数目。 4.根据权利要求1所述的图像融合方法， 其特征在于， 根据所述第一特征映射图、 所述 第二特征映射图、 所述软阈值计算得到图像特 征， 包括： 其中， fRSB表示图像特征， α 表示所述软阈值， 表示所述第二特征映射图的绝对值进 行全局平均池化得到的第三特 征映射图， 表示所述第一特 征映射图， m表示 通道数目。 5.根据权利要求1所述的图像融合方法， 其特征在于， 所述方法还包括预先训练所述编 码器和所述 解码器， 具体包括： 获取第一样本图像和第 二样本图像， 所述第 一样本图像和所述第 二样本图像分属于不 同的图像 类型； 将所述第一样本图像或所述第 二样本图像输入至所述编码器进行特征提取， 得到第 一 样本图像特 征或第二样本图像特 征；权　利　要　求　书 1/3 页 2 CN 115375982 A 2将所述第一样本图像特征或所述第 二样本图像特征输入至所述解码器进行解码， 得到 第一样本 重构图像或第二样本 重构图像； 基于所述第一样本重构图像或所述第二样本重构图像以及预设损失函数对所述编码 器和所述解码器进行训练， 所述预设损失函数包括优化所述重构图像像素信息的第一损失 函数、 优化所述重构图像结构相似度信息的第二损失函数、 优化所述重构图像梯度信息的 第三损失函数和优化所述重构图像颜色信息的第四损失函数。 6.根据权利要求5所述的图像融合方法， 其特 征在于， 所述预设损失函数表示 为： Loss＝aLpixel+bLssim+cLgrad+dLcolor； Loss表示所述预设损失函数， Lpixel表示所述第一损失函数， Lssim表示所述第二损失函 数， Lgrad表示所述第三损失函数， Lcolor表示第四损失函数， a、 b、 c、 d表示预设超参数。 7.根据权利要求5所述的图像融合方法， 其特 征在于， 所述第一损失函数表示 为： Lpixel＝MSE(Iir， Ire1)+MSE(Ivr， Ire2)； 其中， Lpixel表示所述第一损失函数， MSE表示使用均方误差函数计算样本图像与样本重 构图像之间的差异， Iir表示所述第一样本图像， Ire1表示所述第一样本重构图像， Ivr表示所 述第二样本图像， Ire2表示所述第二样本 重构图像， N表示像素点数量； 所述第二损失函数表示 为： 其中， Lssim表示所述第二损失函数， SSIM(X， F)表示样本图像与样本重构图像之间的相 似性， μx表示样本图像的均值， μf表示样本重构图像的均值， σx表示样本图像的标准差， σf表 示样本重构图像的标准差， σxf表示样本图像与样本 重构图像的协方差； 所述第三损失函数表示 为： Lgrad＝MSE(Gradient(Ire)， Gradient(Iin))； 其中， Lgrad表示所述第三损失函数， Gra dient表示通过拉普拉斯算子来计算图像梯度映 射图， Ire表示样本重构图像， Iin表示样本图像， (x,y)表示图像的点的坐标， f(x,y)表示图 像的点(x,y)的像素值； 所述第四损失函数值表示 为： 其中， Lcolor表示所述第四损失函数， Histogram表示颜色直方图。权　利　要　求　书 2/3 页 3 CN 115375982 A 3