(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210727834.7 (22)申请日 2022.06.24 (71)申请人 佛山科学技术学院 地址 528000 广东省佛山市江湾一路18号 (72)发明人 李小松　接玉婵　谭海曙　曾亚光　 熊红莲　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 刘羽波　陈嘉琦 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/54(2022.01) G06V 10/56(2022.01) G06V 10/77(2022.01) G06V 10/772(2022.01) (54)发明名称 一种三图多 模态医学图像融合方法 (57)摘要 本发明公开了一种三图多模态医学图像融 合方法， 首先， 使用基于滚动引导滤波的方法对 图像进行卡通纹理分解； 其次， 根据纹理成分含 有较多细 节信息的特点， 且针对待融合图像的医 学特征， 提出用医学纹理图像作为训练字典样本 的稀疏表 示方法， 用于纹理成分融合， 同时， 根据 卡通成分的高能量特点， 提出一种自适应绝对值 取大和拉普拉斯能量和的方法对卡通成分进行 融合； 最后通过重构得到最终融合图像。 本发明 解决了多模态医学图像使用现有图像融合方法 得到的融合结果存在明显的亮度信息丢失和边 缘模糊的问题。 权利要求书3页 说明书9页 附图2页 CN 115147694 A 2022.10.04 CN 115147694 A 1.一种三图多模态医学图像融合方法， 其特 征在于， 包括以下步骤： 步骤S1： 输入三个多模态医学图像， 分别为第一源图像、 第二源图像和第三源图像； 其 中， 所述第一源图像和所述第二源图像均为灰色图像， 所述第三源图像为彩色图像； 步骤S2： 使用滚动引导滤波分别对所述第一源图像和所述第二源图像进行卡通纹理分 解， 得到第一源图像的卡通成分和第一源图像的纹理成分、 第二源图像的卡通成分和第二 源图像的纹 理成分； 步骤S3： 采用稀疏表示对第一源图像的纹理成分和第二源图像的纹理成分进行融合， 得到中间融合纹 理成分； 步骤S4： 采用自适应绝对值取大和拉普拉斯能量和对第 一源图像的卡通成分和第二源 图像的卡 通成分进行融合， 得到中间融合 卡通成分； 步骤S5： 将中间融合纹 理成分和中间融合 卡通成分进行叠加， 得到融合中间结果图； 步骤S6： 将第三源图像进行Y、 U、 V三个通道分解， 将第三源图像的Y通道图像和融合中 间结果图按照步骤S1到步骤S5的方法再进行融合， 得到中间融合图像和第三源图像的Y通 道图像融合图像； 步骤S7： 将中间融合图像和第三源图像的Y通道图像 融合图像与第 三源图像的U通道图 像和第三源图像的V通道图像结合， 得到最终融合结果图。 2.根据权利要求1所述的一种三图多模态医学图像融合方法， 其特征在于： 步骤S2中， 所述滚动引导滤波包括两个子步骤， 分别是小结构去除子步骤和边 缘恢复子步骤； 所述小结构去除子步骤 包括以下步骤： 将输入图像I代入小结构去除函数 F(i)， 计算公式如下： 其中， F(i)是小结构去除函数， 代 表输出图像， I(j)表示输入图像， Ki表示标准 化函数， N(i)表示以像素i为中心的领域像素集， σs表示控制空间权重的参数， 如果尺度 小于σs， 滤波器可以完全去除小结构。 3.根据权利要求2所述的一种三图多模态医学图像融合方法， 其特征在于： 所述边缘恢 复子步骤 包括以下步骤： 通过对输入图像I和引导图像Jt进行引导滤波， 可得第t次迭代过程的输出Jt+1， 计算公 式如下： 其中， Ki表示标准 化函数， 权　利　要　求　书 1/3 页 2 CN 115147694 A 2σs表示用于控制空间权重 的参数， σr表示用于控制 范围权重的参数， Jt+1表示由Jt引导 输入图像I经过平滑后得到的输出图像， 即得到源图像的卡通成分， Jt表示用于计算像素之 间的近似度， N(i)表示以像素i为中心的邻域像素集， i表示单个像素点的横坐标， j表示单 个像素点的纵坐标。 4.根据权利要求1所述的一种三图多模态医学图像融合方法， 其特征在于： 步骤S3中， 具体包括以下步骤： 步骤S31： 对所述第一源图像和所述第二源图像的两个待融合的纹理成分It1和It2， 分别 采用滑动窗口取块技术， 以重叠S个像素， 其中， 块的大小为8 ×8， 从左上到右下依次取块， 得到各自的图像块集合 与 其中， G表示块的数量， p表示图像块， r表示图 像块的位置； 步骤S32： 将每 个图像块拉成对应的列向量， 即 步骤S33： 使用l1范数取大的规则选择纹理成分的稀疏表示系数， 确定融合图像的稀疏 表示系数 计算公式如下： Ft1表示第一张源图像和第二张源图像的纹 理成分融合图像； 步骤S34： 使用过完备字典D对 进行线性表示， 得到向量 计算公式如下： 步骤S35： 对 与 中每一个图像块均执行步骤S32 ‑S34， 得到融合纹理 成分的向量 步骤S36： 将每个向量转换为8 ×8的图像块， 并按顺序放置于各自原始的位置， 得到融 合纹理成分Ft。 5.根据权利要求1所述的一种三图多模态医学图像融合方法， 其特征在于： 步骤S4中， 具体包括以下步骤： 对两个待融合的卡通成分Ic1和Ic2的差值与设置的阈值作比较； 若差值大于阈值， 则融 合卡通成分Fc1选择像素绝对值最大的像素点； 若差值小于阈值， 则比较Ic1和Ic2的改进的 拉普拉斯 能量和， 融合卡通成分Fc1选择改进的拉普拉斯能量和最大的像素点； 具体融合计 算公式如下： 其中， Fc1(i,j)表示I1和I2融合图的卡通成分像素点， Ic1和Ic2分别指的两幅源图像I1和权　利　要　求　书 2/3 页 3 CN 115147694 A 3