(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641824.3 (22)申请日 2021.12.2 9 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 程建　陈玉兰　郑文　刘鑫　 梁星宇　 (74)专利代理 机构 成都先导云创知识产权代理 事务所(普通 合伙) 51321 代理人 李坤 (51)Int.Cl. G06T 7/12(2017.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于先验交互强化学习的胎儿超声图 像脑部分割方法 (57)摘要 本发明公开了一种基于先验交互强化学习 的胎儿超声图像脑部分割方法， 属于医学图像分 割和深度学习领域。 本发明将胎儿超声图像脑部 分割转化为环 境状态转换模块、 环 境奖励转换模 块和提示图更新模块三个部分， 环 境奖励转换模 块通过标签数据和预测数据计算环 境奖励值； 提 示图更新模块使用提示图更新网络对当前的结 果提供新的提示图来细化下一次分割的结果； 环 境状态转换模块对动作概率进行预测并评估当 前状态组合， 不断迭代更新当前状态 值直至分割 结果满意为止。 本发明可实现对胎儿脑部结构 端 到端的分割， 拥有较高的准确率， 为胎儿胼胝体 发育状态识别的智能分析提供有利的数据基础 以及性能保障， 对未来的智能医疗相关研究有深 远意义。 权利要求书2页 说明书6页 附图3页 CN 114332139 A 2022.04.12 CN 114332139 A 1.一种基于先验交互强化学习的胎儿超声图像脑部分割方法， 其特征在于， 包括以下 步骤： 步骤1： 采集胎儿超声图像， 根据胎儿胼胝体超声图像的边缘特征和空间特征对采集到 的胎儿超声图像进行人工标注得到标签图像， 对胎 儿超声图像和标签图像进行预处理， 并 根据预处理后的胎儿超声图像和标签图像构建多模态胎儿胼胝 体结构的影像数据库， 对影 像数据库中的数据进行数据增强， 得到训练图像数据集、 验证图像数据集和测试图像数据 集； 步骤2： 构建基于深度神经网络模型的胎儿超声图像脑部分割模型， 所述胎儿超声图像 脑部分割模型 由环境状态转换模块、 环境奖励转换模块和 提示图更新模块组成； 所述环境 状态转换模块用于对动作概率进行预测并评估当前状态组合,输出当前预测图； 所述环境 奖励转换模块用于根据上一次预测图、 标签图像和当前预测图来计算环境奖励值， 再通过 环境奖励值反向传播训练环境状态转换模块； 所述提示图更新模块用于对当前预测图提供 新的提示图来细化下一次分割的结果； 步骤3： 设置胎儿超声图像脑部分割模型的参数； 步骤4： 将训练图像数据集导入胎儿超声图像脑部分割模型中， 并通过环境奖励转换模 块进行训练， 更新胎 儿超声图像脑部分割模型 的参数， 将验证图像数据集导入训练后的胎 儿超声图像脑部分割模型中验证模型的分割结果， 并使用相应的评价指标对分割结果进 行 评价， 得到胎儿超声图像脑部分割最终模型； 步骤5： 将测试图像数据集导入已训练好的胎儿超声图像脑部分割最终模型中， 进行前 向传播， 不断更新状态值 直到输出结果满意， 构建出胎儿超声图像脑部分割图。 2.根据权利要求1所述的一种基于先验交互强化学习的胎儿超声图像脑部分割方法， 其特征在于： 所述对胎儿超声图像和标签图像进 行预处理包括对胎儿超声图像和标签图像 进行平移转换、 扭曲增强以及弹性形变。 3.根据权利要求1所述的一种基于先验交互强化学习的胎儿超声图像脑部分割方法， 其特征在于： 所述环境状态转换模块包括动作网络和判断网络， 所述动作网络用于在已知 当前状态下预测下一个动作的概率分布， 并对状态中的分割概率图进行更新； 所述判断网 络用于预测当前状态估计值。 4.根据权利要求1所述的一种基于先验交互强化学习的胎儿超声图像脑部分割方法， 其特征在于： 所述提示图更新模块根据当前迭代次数采用不同方式对当前的分割结果提供 新的提示图来细化下一次分割的结果， 在 迭代次数小于阈值时新的提示图由提示图网络提 供， 当迭代次数到 达阈值时新的提 示图由专业医生 提供。 5.根据权利要求1所述的一种基于先验交互强化学习的胎儿超声图像脑部分割方法， 其特征在于， 环境奖励转换模块根据上一次预测图、 标签图像和当前预测图来计算环境奖 励值， 再通过环境奖励值反向传播训练环境状态转换模块的具体步骤如下： 步骤2.1： 所述环境奖励转换模块使用上一 次预测图、 标注图和当前预测图来计算延时 奖励， 延时奖励计算公式如下： r＝X(t‑1)‑X(t)； 其中：权　利　要　求　书 1/2 页 2 CN 114332139 A 2步骤2.2： 通过延时奖励计算 价值函数， 价值函数的计算公式如下： 其中： T为迭代总数， t为迭代次数， γ为衰减因子， 取值范围为0到1,N为样本类别总数， y′i表示第i个 类别的预测值， yi是one‑hot向量,rt为迭代步数为t的全局的奖励值； 步骤2.3： 利用价值函数反向传播训练环境状态转换模块中的动作分支和判断分支 的 深度神经网络模型； 通过动作分支网络预测动作概 率分布的损失L ossaction为： Lossaction＝‑π(a(t)|s(t))A(a(t)， s(t))； 其中： π(a(t)|s(t))为在状态s时采取行为a的概率， 为在迭代步数k时， 所有像素的平均 价值函数,γ为衰减因子， v(s(t))为输出当前状态的估计值； 通过判断分支网络预测当前状态估计值的损失L ossdeter为： Lossdeter＝‑A(s(t),a(t))2。 6.根据权利要求5所述的一种基于先验交互强化学习的胎儿超声图像脑部分割方法， 其特征在于， 对深度神经网络的训练过程具体包括： 步骤4.1： 网络初始化 ： 权值被设置成一个零均值高斯分布， 标准差为 这里 kl是第l层卷积核的边长大小， dl‑1是第l‑1层滤波器的数量； 深度神经网络的卷积层由标准 高斯分布进行参数初始化； 步骤4.2： 训练： 以状态估计值损失和动作概率分布的损失作为损失函数， 使用随机梯度 下降法为优化方法， 采用多项式学习策略， 学习率由初始学习率乘以(1 ‑iter/max_iter)power 得到,max_iter为总的迭代次数， iter为当前迭代次数， po wer为指数衰减的常数。权　利　要　求　书 2/2 页 3 CN 114332139 A 3