(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210963122.5 (22)申请日 2022.08.11 (71)申请人 南京工业大 学 地址 210000 江苏省南京市浦口区浦珠南 路30号南京工业大 学江浦校区 (72)发明人 尹诗　郭帅子　盛翔宇　张杰　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 秦秋星 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/25(2022.01) G06T 3/00(2006.01) G06T 7/62(2017.01) G06N 20/00(2019.01) (54)发明名称 基于CT图像跨模态迁移学习的肾脏超声图 像分割方法 (57)摘要 本发明公开一种基于CT肾脏图像跨模态迁 移学习的肾脏超声 图像分割方法， 包括： 通过旋 转的方法多角度切割带标签的三维CT 图像生成 多角度二维肾脏CT图像； 利用风格迁移网络生成 带标签的模拟 超声数据集； 利用多角度模拟肾脏 超声图像提高肾脏超声图像分割网络泛化性能； 在训练策略上首先利用风格迁移网络和语义分 割网络联合训练， 最后再利用真实标注的肾脏超 声图像进行训练。 本发明在肾脏超声图像语义分 割网络有如下优势： 可以有效解决肾脏超声图像 标注困难； 可 以降低人工标注的成本； 解决肾脏 分割模型训练的过拟合问题， 从而提高分割准确 度。 具有很好的泛化能力， 即可以在不同形态、 不 同位置的肾脏超 声图像上进行分割。 权利要求书1页 说明书5页 附图3页 CN 115439650 A 2022.12.06 CN 115439650 A 1.一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法， 其特征在于， 包括如下 步骤： 利用带肾脏区域标注的三维肾脏 CT图像获取多角度二维肾脏 CT图像； 利用多角度二维肾脏CT图像和真实肾脏超声图像构建训练集， 训练风格迁移网络， 利 用训练好的风格迁移网络对二 维肾脏CT图像进 行风格迁移， 生成带标注的多角度模拟肾脏 超声图像； 利用模拟肾脏超声图像和真实肾脏超声图像构建训练集， 训练语义分割模型， 利用训 练好的语义分割模型对肾脏超声图像进行图像分割。 2.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法， 其特征在于， 获取二维肾脏 CT图像的步骤 包括： 将三维肾脏CT标签 图像的三维数组转换为一维， 在一维数组中以像素为1的点确定具 体肾脏区域的坐标， 抽取其中坐标设为分割点， 以包含分割点的三个互相垂直的平面作为 分割面， 以分割点为中心， 通过旋转分割面切割出CT断层图像， CT断层图像即为二 维肾脏CT 图像。 3.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法， 其特征在于， 风格迁移网络训练过程中采用联合训练策略， 将通过风格迁移网络生成的模 拟肾脏超声图像和对应的标签图放入语义分割模型中进行语义分割训练， 语义分割模型产 生的损失函数传递到风格迁移网络生成器的损失函数中， 以优化 风格迁移网络生成器。 4.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法， 其特征在于， 利用模拟肾脏超声图像构成的训练集对ImageNet预训练模型进行预训练， 再 利用真实肾脏超声图像构建的训练集， 训练加载了预训练所得的权重参数的语义分割模 型。 5.根据权利要求1 ‑4任一所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割 方法， 其特 征在于， 所述 风格迁移网络为CycleGAN模型。 6.根据权利要求1 ‑4任一所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割 方法， 其特 征在于， 所述语义分割模型为U ‑Net模型。 7.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法， 其特征在于， 三维肾脏 CT图像和真实二维肾脏超声图像来自同一个 体。 8.根据权利要求1所述的一种基于CT图像跨模态迁移学习的肾脏超声图像分割方法， 其特征在于， 风格迁移网络训练之前对参与训练数据集进行预处理： 对二维CT图像和真实 超声图像进行roi处理， 以提取出肾脏区域； 二维CT图像roi处理是通过与之对应的标签确 定肾脏的中心， 再以肾脏的中心点作为一定大小矩形框的中心点提取出肾脏区域； 真实超 声图像的r oi处理是人工大致标注出肾脏区域， 并以此确定中心 点， 采用矩形框提取出一定 大小的肾脏区域。权　利　要　求　书 1/1 页 2 CN 115439650 A 2基于CT图像跨模 态迁移学习的肾脏超声图像分割方 法 技术领域 [0001]本发明属于医学影像处理技术领域， 更具体地， 涉及一种基于电子计算机断层扫 描图像(CT图像)跨模态迁移学习的肾脏超声图像分割训练方法。 背景技术 [0002]超声成像因其安全、 实时、 低廉的获取特点， 已被广泛应用于各种急性和慢性肾病 筛查、 诊断和预后,包括肾结石、 肾癌、 慢 性肾病、 儿童先天性肾脏及尿路畸形等各种肾脏疾 病。 在临床各种肾病诊断与评估中， 肾脏超声图像分割具有重要的意义， 主要用于： 1.评估 肾脏参数， 即其大小和 体积， 以诊断潜在的疾病； 2.评估肾脏形态和功能； 3.定位肾脏中存 在的异常或病理 区域； 4.辅助治疗/介 入计划的实施决策以及实施过程； 5.肾癌等介 入治疗 后的术后随访。 准确快速的肾脏区域分割 是从超声图像中提取肾脏疾病诊断信息的保证, 也是进行定量分析和实时监控中精确定位的重要环节。 然而目前超声图像中的肾脏区域基 本仍然通过专业超声 科医生在图像采集过程中针对不同切面动态图像手动提取。 手动提取 特征需要耗费专业超声科医生大量时间和精力， 并且需要观察者之间具有适度的可靠性。 目前我国专业超声科医生缺口巨大， 任务繁重。 随着计算机技术尤其是人工智能 (Artificial  Intelligence， AI)的高速发展， 通过AI辅助肾脏超声图像诊断已经成为必然 趋势。 肾脏超声图像分割算法是AI辅助肾病精准诊断与治疗中关键步骤， 分割的输出结果 可以辅助医生或者下一步的分类算法进行临床解剖特征提取与诊断评估。 准确快速的肾脏 超声图像分割算法不仅可以有效的降低肾脏疾病诊疗成本， 还可以辅助筛查诊断提高各种 肾脏疾病知晓率， 尤其对于一些缺少高水平 专家的基层医疗机构尤其具有重要意 义。 [0003]近几年深度学习算法已成功应用到一系列超声图像自动分析任务中， 例如病变/ 结节分类、 器官分割和物体检测等， 并取得了关键性突破。 作为一种表示学习 方法， 深度学 习可以直接从所获取的原始数据中自动学习中级和高级的抽象特征， 为基于超声图像的肾 脏疾病计算机辅助诊断技术研究提供了新思路。 尤其是基于深度学习的语义分割网络在自 然图像以及医学图像自动分割任务中取得了突破性进展， 并在肾脏超声图像自动分割任务 中显示出了巨大 的潜力。 然而， 在任意视角各种尺度下 的二维超声断面扫查策略要求训练 的肾脏超声图像分割网络具有非常强的泛化能力。 在训练分割网络的肾脏超声图像像素级 标注工作中， 医生通常只能手动标注几张代表性的断面图作为标签。 现有工作主要是采用 基于自然图像尤其是ImageNet数据集上的迁移学习 作为预训练策略， 然而这种方法的问题 均在于自然图像与真实超声图像扫描之 间在成像方式上仍存在较大的差异 性， 使得训练的 网络很难完全适应复杂多变的真实超声器官图像数据。 或利用数据增强策略包括空间变 换、 加入随机噪声以及生成对抗网络等方式生成的模拟超声 数据加入网络训练中防止过拟 合， 然而该方法仍需要大量的手工标注标签。 [0004]综上所述， 小样本标注与泛化能力高要求的矛盾问题在肾脏超声图像分割任务中 尤为突出。 因此如何提高小样本标注下 的肾脏超声图像分割网络的准确度与鲁棒性， 成为 研究中亟需解决的问题。说　明　书 1/5 页 3 CN 115439650 A 3