(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210888106.4 (22)申请日 2022.07.27 (66)本国优先权数据 202210411670.7 202 2.04.19 CN (71)申请人 苏州大学 地址 215000 江苏省苏州市 市辖区十 梓街1 号 (72)发明人 向德辉　孟庆权　 (74)专利代理 机构 苏州隆恒知识产权代理事务 所(普通合伙) 32366 专利代理师 金京 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/00(2017.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种跨模态注意力网络的多模态图像分割 方法及装置 (57)摘要 本发明公开了一种跨模态注意力网络的多 模态图像分割方法及装置， 方法包括： 接收目标 图像； 其中， 所述目标图像为多模态图像； 将所述 目标图像输入预先训练完成的跨模态注意力网 络， 所述跨模态注意力网络用于多模态图像分 割； 获得所述跨模态注意力网络输出的所述目标 图像对应的目标分割图像。 利用本发明实施例， 能够实现多 模态图像下的目标分割。 权利要求书2页 说明书13页 附图3页 CN 115409850 A 2022.11.29 CN 115409850 A 1.一种跨模态 注意力网络的多模态图像分割方法， 其特 征在于， 所述方法包括： 接收目标图像； 其中， 所述目标图像为多模态图像； 将所述目标图像输入预先训练完成的跨模态注意力网络， 所述跨模态注意力网络用于 多模态图像分割； 获得所述跨模态注意力网络 输出的所述目标图像对应的目标分割图像。 2.根据权利要求1所述的方法， 其特 征在于， 所述目标图像包括： PET图像和CT图像。 3.根据权利要求2所述的方法， 其特征在于， 所述获得所述跨模态注意力网络输出的所 述目标图像对应的目标分割图像， 包括： 生成所述PET图像和所述CT图像的不同级别的模态特 征； 融合所述PET图像和所述CT图像的多个模态特 征； 根据所述多个模态特征， 分别集成所述PET图像和所述CT图像的不同级别的模态特异 性特征； 根据所述模态特异性特 征， 生成融合的所述PET图像和所述CT图像的模态特定特 征； 根据所述模态特定特 征， 获得对应的目标分割图像。 4.根据权利要求3所述的方法， 其特征在于， 所述跨模态注意力网络为： 生成对抗网络， 所述生成对抗网络包括： 生成器、 判别器和损失函数。 5.根据权利 要求4所述的方法， 其特征在于， 所述生成器包括： PET编码器、 CT编码器、 融 合解码器、 PET模态特异性 解码器、 CT模态特异性 解码器； 所述PET编码器、 CT编码器包含第一卷积模块， 分别用于为PET图像和CT图像生成不同 级别的模态特 征； 所述融合 解码器包 含第二卷积模块， 用于融合PET图像和CT图像的多个模态特 征； 所述PET模态特异性解码器包含由跨模态通道注意力和跨模态位置注意力构 成的跨模 态解码模块， 用于集成PET图像的不同级别的模态特异性特 征； 所述CT模态特异性解码器包含第三卷积模块， 用于集成CT图像的不同级别的模态特异 性特征。 6.根据权利要求5所述的方法， 其特征在于， 所述生成器还包括： PET分割模块、 CT分割 模块， 还用于将所述P ET模态特异 性解码器、 所述CT模态特异 性解码器与所述融合解码 器融 合， 以生成融合的所述PET图像和所述CT图像的模态特定特征， 将所述PET图像的模态特定 特征输入 所述PET分割模块得到PET图像的目标分割， 将所述CT图像的模态特定特征输入 所 述CT分割模块得到 CT图像的目标分割。 7.根据权利要求6所述的方法， 其特征在于， 所述判别器包括： PET分割判别器、 CT分割 判别器， 所述PET分割 判别器、 CT分割 判别器均由若干卷积层构成。 8.根据权利要 求7所述的方法， 其特征在于， 所述损失函数包括： 对抗性损失、 PET的L1损 失、 CT的L1损失、 PET的交叉熵损失、 CT的交叉熵损失、 PET的dice损失、 CT的dice损失、 PET的 边缘损失、 CT的边 缘损失。 9.根据权利要求8所述的方法， 其特征在于， 所述生成器和所述判别器由分别在最小化 和最大化目标函数 方面进行最小 ‑最大博弈得到。 10.一种跨模态 注意力网络的多模态图像分割装置， 其特 征在于， 所述装置包括： 接收模块， 用于 接收目标图像； 其中， 所述目标图像为多模态图像；权　利　要　求　书 1/2 页 2 CN 115409850 A 2输入模块， 用于将所述目标图像输入预先训练完成的跨模态注意力网络， 所述跨模态 注意力网络用于多模态图像分割； 获得模块， 用于获得所述跨模态注意力网络输出的所述目标图像对应的目标分割 图 像。权　利　要　求　书 2/2 页 3 CN 115409850 A 3