(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111614188.5 (22)申请日 2021.12.27 (65)同一申请的已公布的文献号 申请公布号 CN 114331937 A (43)申请公布日 2022.04.12 (73)专利权人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 张钊　孙光辉　周栋　胡瑀晖　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 张利明 (51)Int.Cl. G06T 5/50(2006.01) G06T 5/00(2006.01) G06T 7/90(2017.01)G06V 10/74(2022.01) (56)对比文件 CN 109447917 A,2019.0 3.08 CN 109308691 A,2019.02.0 5 CN 105913408 A,2016.08.31 US 2020357147 A1,2020.1 1.12 CN 111080568 A,2020.04.28 CN 10734313 0 A,2017.1 1.10 张言.“像素级图像融合方法研究 ”. 《中国优 秀博硕士学位 论文全文数据库(硕士) 信息科技 辑》 .2019,第I138- 376页. Sansheng C heng et al. .“Image fusion based on improved HIS and curvelet transform i ntegrated method ”. 《PROCEEDINGS OF SPIE》 .2007,第1-10页. 审查员 李悦 (54)发明名称 基于反馈迭代调节的低光照条件下多源图 像融合方法 (57)摘要 一种基于反馈迭代调节的低光照条件下多 源图像融合方法， 属于计算机图像融合技术领 域。 本发明针对现有多源图像融合方法没有考虑 如何保留可见光图像颜色信息使低光照强度环 境下的场景复原效果差的问题。 包括： 采集可见 光原始图像和近红外原始图像， 并进行预处理； 进行小波变换， 获得近红外图像低频分量和近红 外图像高频分量以及可见光图像亮度分量I的低 频分量和高频分量； 根据融合系数进行融合， 再 进行小波重构得到重构后新的亮度分量； 再进行 HSI逆变换， 得到融合后RGB图像； 计算相似度指 标SSIMM， 并计算获得下一次迭代的融合系数； 直 到连续5次迭代的相似度指标SSIMM没有新解终 止迭代， 获得最终融合后图像。 本发明用于低光 照条件下多 源图像融合。 权利要求书3页 说明书13页 附图6页 CN 114331937 B 2022.10.25 CN 114331937 B 1.一种基于反馈迭代调节的低光照条件下多源图像融合方法， 其特 征在于包括， 步骤一： 采集监测目标的可见光原始图像和近红外原始图像， 并进行预处理， 获得预处 理后的可 见光图像和近红外图像； 步骤二： 对所述近红外图像进行基于Haar小波 的小波变换， 获得小波变换后近红外图 像低频分量和近红外图像高频分量； 同时对所述可见光图像从RGB颜色空间转换到HSI颜色空间， 得到转换后色度分量H、 转 换后饱和度分量S和转换后亮度分量I； 对转换后亮度分量I进 行基于Haar小波的小波变换， 获得小波变换后可 见光图像亮度分量 I的低频分量和亮度分量 I的高频分量； 步骤三： 根据光照强度影响因子确定初始可见光低频融合系数及初始近红外低频融合 系数， 并对可见光图像亮度分量I的低频分量和近红外图像低频分量进 行融合， 获得初始低 频融合结果； 同时采用像素灰度值绝对值取大法对可见光图像亮度分量I的高频分量和近红外图像 高频分量进行融合， 获得高频融合结果； 步骤四： 对低频融合结果和高频融合结果分别进行小波重构， 再对重构的结果进行结 合得到重构后新的亮度分量； 步骤五： 对重构后新的亮度分量、 转换后色度分量H和转换后饱和度分量S进行HSI逆变 换， 得到融合后RGB图像； 步骤六： 再分别计算融合后RGB图像与可见光图像和近红外图像的相似度指标， 并取平 均值作为融合后RGB图像与预处理后图像的相似度指 标SSIMM； 比较当前次与相邻前一次相 似度指标SSIMM的大小， 保留相似度指标SSIMM较大值对应的可见光低频融合系数作为下一 次迭代的可见光对比系数， 并对当前对比系数利用高斯分布 生成的0.8到1.5的随机系数进 行调整， 得到调整后可见光低频融合系 数； 根据调整后可见光低频融合系 数计算获得调整 后近红外低频融合系数； 相似度指标S SIMM的初值置 0； 步骤七： 以调整后可见光低频融合系数和调整后近红外低频融合系数作为新的低频融 合系数， 重复步骤三至步骤七， 直到连续5次迭代的相似度指标SSIMM没有新解， 则终止迭 代， 并以当前的融合后RGB图像作为 最终融合后图像； 步骤二中， 对所述可 见光图像从RGB颜色空间转换到 HSI颜色空间的方法包括： 式中R为可见光图像红色颜色值， G为可见光图像绿色颜色值， B为可见光图像蓝色颜色 值；权　利　要　求　书 1/3 页 2 CN 114331937 B 2近红外图像或可见光图像的转换后亮度分量I在进行小波变换前， 先按行进行滤波后 下采样， 再按列进行 滤波后下采样； 近红外图像或可见光图像的转换后亮度分量I经小波变换后， 分别被分解为四张子 图 像； 近红外图像对应的四张子图像为一张近红外图像低频分量和三张近红外图像高频分 量； 可见光图像的转换后亮度分量I对应的四张子图像为一张可见光图像低频分量和三张 可见光图像高频分量； 步骤三中， 光照强度影响因子 μ为： 式中P(i,j)表示可见光图像第i行、 第j列的像素值， M表示可见光图像的长， N表示可见 光图像的宽， ρ 表示 转换系数； 初始可见光低频融合系数ωV和初始近红外低频融合系数ωN为： 2.根据权利要求1所述的基于反馈迭代调节的低光照条件下多源图像融合方法， 其特 征在于， 低频融合结果FL(i,j)为： FL(i,j)＝ωV×VL(i,j)+ωNNL(i,j)， VL(i,j)为可 见光图像亮度分量 I的低频分量， NL(i,j)为近红外图像低频分量； 高频融合结果FH(i,j)为： VH(i,j)为可 见光图像亮度分量 I的高频分量， NH(i,j)为近红外图像高频分量。 3.根据权利要求2所述的基于反馈迭代调节的低光照条件下多源图像融合方法， 其特 征在于， 融合后RGB图像的可见光图像红色颜色值 R′、 可见光图像绿色颜色值G ′和可见光图 像蓝色颜色值B ′的表示方法为：权　利　要　求　书 2/3 页 3 CN 114331937 B 3