(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111656698.9 (22)申请日 2021.12.3 0 (71)申请人 天翼物联科技有限公司 地址 510335 广东省广州市海珠区 阅江西 路366号广报中心南塔21层 (72)发明人 胡圣烨　李丽　许锐杰　谢鸣宇　 叶青　董晓冬　肖芳　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 郑宏谋 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多源对抗策略的医学影像交叉模态合 成系统及方法 (57)摘要 本发明公开了一种基于多源对抗策略的医 学影像交叉模态合成系统及方法， 能够准确地描 述目标域模态影像的关键特征， 提高合成目标域 模态影像的质量， 从而 得到更符合实际需求的目 标域模态影像。 该系统包括多源输入融合网络单 元， 设置有第一卷积层和特征级联层； 生成神经 网络单元， 包括编码压缩子网络和解码扩张子网 络； 鉴别神经网络单元， 设置有第四卷积层和第 二下采样层， 鉴别神经网络单元提取第一目标域 模态影像的第一高级特征图和真实模态影像的 第二高级特征图， 对第一高级特征图和第二高级 特征图进行识别， 得到实际识别值与期望识别值 的差距， 反馈至生成神经网络单元； 当差距小于 阈值， 输出第二目标域模态影 像。 权利要求书2页 说明书10页 附图3页 CN 114387481 A 2022.04.22 CN 114387481 A 1.一种基于多源 对抗策略的医学影 像交叉模态合成系统， 其特 征在于， 包括： 多源输入融合网络单元， 所述多源输入融合网络单元设置有第一卷积层和特征级联 层， 所述第一卷积层用于将输入的不同模态影像进行特征提取， 得到所述输入的不同模态 影像的第一特征图； 所述特征级联层用于将所述第一特征图进行融合， 得到多模态融合语 义特征图； 生成神经网络单元， 所述生成神经网络单元包括编码压缩子网络和解码扩张子网络， 所述编码压缩子网络设置有第二卷积层和 第一下采样层， 所述解码扩张子网络 设置有第三 卷积层和上采样层， 所述编 码压缩子网络用于压缩所述多模态融合语义特征图并提高所述 多模态融合语义特征图特征维度， 得到高级语义特征编码； 所述解码扩张子网络用于将所 述高级语义特 征编码映射 为第一目标域模态影 像； 鉴别神经网络单元， 所述鉴别神经网络单元设置有第 四卷积层和第二下采样层， 所述 鉴别神经网络单元通过所述第四卷积层和所述第二下采样层提取所述第一目标域模态影 像的第一高级 特征图， 并且通过所述第四卷积层和所述第二下采样层提取真实模态影像的 第二高级特征图， 分别对所述第一高级特征图和所述第二高级特征图进行识别， 得到实际 识别值与期望识别值的第一差距， 并反馈至所述生成神经网络单元； 所述第四卷积层包括 第一激活函数， 当所述第一差距小于阈值， 通过所述第一激活函数输出第二 目标域模态影 像。 2.根据权利要求1所述的基于多源对抗策略的医学影像交叉模态合成系统， 其特征在 于， 具有相同特征图分辨率的所述第二卷积层与所述第三卷积层之间设置有横向连接路 径， 所述横向连接路径用于将所述编 码压缩子网络提取的语义特征传递到所述解码扩张子 网络； 在所述 解码扩张子网络内对所述语义特 征进行调整映射。 3.根据权利要求1所述的基于多源对抗策略的医学影像交叉模态合成系统， 其特征在 于， 所述第二卷积层和所述第三卷积层均包括第一卷积核、 正则化层以及第二激活函数。 4.根据权利要求3所述的基于多源对抗策略的医学影像交叉模态合成系统， 其特征在 于， 所述第一卷积核包括至少一个3 *3卷积核。 5.根据权利要求3所述的基于多源对抗策略的医学影像交叉模态合成系统， 其特征在 于， 所述第二卷积层和所述第三卷积层上对应每个输入通道均设有第一卷积核， 所述第一 卷积核用于提取对应通道的第二特征图； 所述第二特征图经过所述正则化层和所述第二激 活函数后， 通过 标准卷积运 算融合所述第二特 征图。 6.根据权利要求1所述的基于多源对抗策略的医学影像交叉模态合成系统， 其特征在 于， 所述第一下采样层和所述第二下采样层均设置有最大化池层。 7.根据权利要求1所述的基于多源对抗策略的医学影像交叉模态合成系统， 其特征在 于， 将所述 生成神经网络单 元的网络中间层的特 征通道数的峰值设置为预设值。 8.一种基于多源 对抗策略的医学影 像交叉模态合成方法， 其特 征在于， 所述方法包括： 获取预设数量 不同模态影 像； 根据所述不同模态影像， 通过第一卷积层对每一种模态影像进行卷积运算， 提取得到 所述不同模态影 像对应的第一特 征图； 根据所述第一特征图， 通过特征级联层进行维度级联运算， 得到将所述第一特征图融 合后的多模态融合语义特 征图；权　利　要　求　书 1/2 页 2 CN 114387481 A 2根据所述多模态融合语义特征图， 通过第二卷积层卷积计算以及下采样运算， 得到高 级语义特 征编码； 根据所述高级语义特征编码和所述多模态融合语义特征图， 通过上采样运算和第 三卷 积层卷积计算， 并进行语义特 征到模态特 征的变换， 得到第一目标域模态影 像； 获取真实模态影 像； 根据所述第 一目标域模态影像和所述真实模态影像， 通过第四卷积层和第 二下采样层 计算得到所述第一目标域模态影像的第一高级 特征图， 以及通过第四卷积层和 第二下采样 层计算得到所述真实模态影 像的第二高级特 征图； 分别对所述第 一高级特征图和所述第 二高级特征图进行识别， 得到实际识别值与期望 识别值的第一差距； 确定所述实际识别值和所述期望识别值的第 一差距小于 阈值， 得到第 二目标域模态影 像。 9.根据权利要求8所述的基于多源对抗策略的医学影像交叉模态合成方法， 其特征在 于， 所述分别对所述第一高级特征图和所述第二高级特征图进行识别， 得到实际识别值与 期望识别值的第一差距， 包括： 对所述第一高级特 征图和所述第二高级特 征图进行二分类， 得到实际分类值； 根据所述实际分类值与期望分类值， 通过交叉熵损失函数计算得到所述实际分类值与 所述期望分类值的第一差距。 10.根据权利要求8所述的基于多源对抗策略的医学影像交叉模态合成方法， 其特征在 于， 在执行所述确定所述实际识别值和所述期望识别值的第一差距小于阈值这一步骤时， 所述方法还 包括以下步骤： 确定所述实际识别值和所述期望识别值的第 一差距大于 阈值， 控制生成神经网络单元 以及鉴别神经网络单 元进行训练； 固定所述鉴别神经网络单元的参数不变， 将所述第 一差距通过梯度反向传播算法回传 至所述生成神经网络单 元， 并根据所述第一差距进行 所述生成神经网络单 元的参数 更新； 固定所述生成神经网络单元的参数不变， 根据第 二差距对所述鉴别神经网络单元的参 数进行更新， 所述第二差距为真实输入的差距。权　利　要　求　书 2/2 页 3 CN 114387481 A 3