(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210613882.3 (22)申请日 2022.05.31 (71)申请人 中加健康工程研究院 （合肥） 有限公 司 地址 230001 安徽省合肥市高新区习友路 与孔雀台路交口国家 健康大数据产业 园B5栋 (72)发明人 苏进　李学俊　周笛　王华彬　 张弓　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 张体南 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/90(2017.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 模型训练方法、 医学图像融合方法、 装置、 设 备和介质 (57)摘要 本公开提供了一种医学图像融合模型训练 方法、 装置、 设备、 介质和程序产品， 涉及人工智 能领域。 该方法包括： 将N个训练图像分别输入至 所述编码器中的M个第一卷积层， 得到每个训练 图像的M个第一特征图； 对所述每个训练图像的M 个第一特征图进行拼接， 得到所述每个训练图像 的第二特征图； 将所述编码器的输出作为所述融 合层的输入， 得到所述N个训练图像的融合特征 图； 将所述融合特征图输入至所述解码器， 得到 训练融合图像； 利用融合图像和N个训练图像之 间的差距 程度训练医学图像融合模 型。 本公开还 提供了一种医学图像融合方法、 装置、 设备、 存储 介质和程序 产品。 权利要求书3页 说明书16页 附图6页 CN 114897756 A 2022.08.12 CN 114897756 A 1.一种医学图像 融合模型训练方法， 其中， 所述医学图像融合模型包括编码器、 融合层 和解码器， 所述方法包括： 将N个训练图像分别输入至所述编码器中的M个第一卷积层， 得到每个训练图像的M个 第一特征图， 其中， 所述N个训练图像包括N个单模态医学图像， 所述M个第一卷积层中任两 个卷积层之间相并行， 且具有不同大小的卷积核， N、 M分别为大于或等于2的整数； 对所述每个训练图像的M个第一特征图进行拼接， 得到所述每个训练图像的第二特征 图； 将所述编码器的输出作为所述融合层的输入， 得到所述N个训练图像的融合特征图， 其 中， 所述编码器的输出根据所述每 个训练图像的第二特 征图获得； 将所述融合特 征图输入至所述 解码器， 得到训练融合图像； 利用融合图像和N个训练图像之间的差距程度训练医学图像融合模型， 其中， 所述差距 程度利用损失函数计算获得。 2.根据权利要求1所述的方法， 其中， 所述编码器还包括密集块， 所述密集块包括采用 密集连接的S个卷积层， S为大于或等于2的整 数， 在将所述编码 器的输出作为所述融合层的 输入之前， 所述方法还 包括： 将所述每 个训练图像的第二特 征图输入至所述密集 块， 得到所述编码器的输出。 3.根据权利要求2所述的方法， 其中， 所述编码器的输出包括所述N个训练图像的N个第 二特征图， 所述融合层根据注意力机制得到， 所述将所述编码器的输出作为所述融合层的 输入， 得到所述 N个训练图像的融合特 征图包括： 根据所述注意力机制处 理所述N个第二特 征图， 得到N个第三特 征图； 根据所述 N个第三特 征图， 得到所述融合特 征图。 4.根据权利要求3所述的方法， 其中， 所述注意力 机制包括通道注意力 机制和空间注意 力机制， 所述根据所述注意力机制处理所述N个第二特征图， 得到N个第三特征图包括： 对于 每个第二特 征图执行以下操作， 根据所述 通道注意力机制处 理所述每 个第二特 征图， 得到第四特 征图； 根据所述空间注意力 机制处理所述每个第 二特征图和对应的第四特征图， 得到第五特 征图； 根据所述每个第 二特征图和对应的第五特征图， 得到所述每个第 二特征图对应的第 三 特征图。 5.根据权利要求4所述的方法， 其中， 所述根据所述每个第 二特征图和对应的第五特征 图， 得到所述每 个第二特 征图对应的第三特 征图包括： 根据所述每 个第二特 征图和对应的第五特 征图， 得到第六 特征图； 将所述每个第 二特征图和对应的第六特征图相加， 得到所述每个第 二特征图对应的第 三特征图。 6.根据权利要求1所述的方法， 其中， 还包括利用以下至少一个损失函数获得所述对比 损失： 利用第一损失函数获得 所述训练融合图像和所述 N个训练图像之间的强度损失； 利用第二损失函数获得 所述训练融合图像和所述 N个训练图像之间的梯度损失； 利用第三损失函数获得 所述训练融合图像和所述 N个训练图像之间的相似度损失。权　利　要　求　书 1/3 页 2 CN 114897756 A 27.根据权利要求1～6 中任一项所述的方法， 其中， 所述N个训练图像包括第 一训练图像 和第二训练图像， 所述编 码器包括第一编码 器和第二编码器， 所述将N个训练图像 分别输入 至所述编码器中的M个卷积层， 得到每 个训练图像的M个第一特 征图包括： 将所述第一训练图像输入至所述第一编码器中的M个卷积层， 得到所述第一训练图像 的M个第一特 征图， 其中， 所述第一训练图像为结构图像； 将所述第二训练图像输入至所述第二编码器中的M个卷积层， 得到所述第二训练图像 的M个第一特 征图， 其中， 所述第二训练图像为功能图像。 8.根据权利要求7所述的方法， 其中， 所述第二训练图像为伪彩色图像， 在将所述第二 训练图像输入至所述第二编码器中的M个卷积层之前， 还 包括： 将所述第二训练图像由RGB色彩空间转换至 YUV色彩空间； 其中， 所述将所述第二训练图像输入至所述第二编码器中的M个卷积层包括： 将所述第二训练图像的Y通道亮度图像输入至所述第二编码器中的M个卷积层。 9.根据权利要求8所述的方法， 其中， 所述将所述融合特征图输入至所述解码器， 得到 训练融合图像包括： 将所述融合特 征图输入至所述 解码器， 得到融合后的Y通道亮度图像； 将所述融合后的Y通道亮度图像， 以及所述第二训练图像的U和V通道色度图像， 由YUV 色彩空间转换至RGB色彩空间， 得到所述训练融合图像。 10.一种医学图像融合方法， 包括： 将K个待融合图像输入至 医学图像 融合模型， 得到融合图像， 其中， 所述K个待融合图像 包括K个单模态医学图像， 所述医学图像融合模型根据权利要求1～9中任一项所述的方法 训练得到 。 11.一种医学图像融合模型训练装置， 其中， 所述医学图像融合模型包括编码器、 融合 层和解码器， 所述装置包括： 第一输入模块， 用于将N个训练图像分别输入至所述编码器中的M个第一卷积层， 得到 每个训练图像的M个第一特征图， 其中， 所述N个训练图像包括N个单模态医学图像， 所述M个 第一卷积层中任两个卷积层之间相并行， 且具有不同大小的卷积核， N、 M 分别为大于或等于 2的整数； 特征拼接模块， 用于对所述每个训练图像的M个第 一特征图进行拼接， 得到所述每个训 练图像的第二特 征图； 特征融合模块， 用于将所述编码器的输出作为所述融合层的输入， 得到所述N个训练图 像的融合特 征图， 其中， 所述编码器的输出根据所述每 个训练图像的第二特 征图获得； 第二输入 模块， 用于将所述融合特 征图输入至所述 解码器， 得到训练融合图像； 模型训练模块， 用于利用融合图像和N个训练图像之间的差距程度训练医学图像融合 模型， 其中， 所述差距程度利用损失函数计算获得。 12.一种医学图像融合装置， 包括： 图像融合模块， 用于将K个待融合图像输入至医学图像 融合模型， 得到融合图像， 其中， 所述K个待融合图像包括K个单模态医学图像， 所述医学图像融合模型根据权利要求 1～9中 任一项所述的方法训练得到 。 13.一种电子设备， 包括：权　利　要　求　书 2/3 页 3 CN 114897756 A 3