(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210666323.9 (22)申请日 2022.06.13 (71)申请人 武汉科技大 学 地址 430081 湖北省武汉市和平大道 947号 (72)发明人 张晓龙　郑帅　邓鹤　任宏伟　 邵赛　边小勇　李波　 (74)专利代理 机构 杭州宇信知识产权代理事务 所(普通合伙) 33231 专利代理师 张宇娟 (51)Int.Cl. G06T 7/11(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多尺度特征融合和网格注意力机制的 肝脏影像分割方法 (57)摘要 本发明涉及一种基于多尺度特征融合和网 格注意力机制的肝脏影像分割方法， 包括如下步 骤： 选取需要进行肝脏分割的肝脏影像数据集， 将其划分为训练集和测试集； 对训练集中的肝脏 影像进行预处理； 在编码器阶段， 利用多尺度特 征融合模块、 卷积网络得到肝脏的特征图； 在解 码器阶段， 利用多尺度特征融合模块、 网格注意 力机制、 注意力引导连接模块、 转置卷积和深度 监督机制得到肝脏的分割图像； 对分割后得到的 肝脏图像进行形态学后处理。 该方法具有提高三 维肝脏影像分割效果的特点， 实现了对三维肝脏 影像的较为精确的分割， 为医生的医疗诊断提供 了极大的辅助作用。 权利要求书3页 说明书8页 附图5页 CN 115170582 A 2022.10.11 CN 115170582 A 1.一种基于多尺度特征融合和网格注意力机制的肝脏影像分割方法， 其特征在于， 包 括如下步骤： S1、 选取需要 进行肝脏分割的医疗影 像数据集， 将其划分为训练集和 测试集； S2、 对选取的训练集中的三维肝脏影像进行预处理， 初始化网络模型参数， 并将预处理 后的图像输入网络模型中， 所述网络模型包括编码器网络和解码器网络； S3、 在编码器阶段， 利用多尺度特 征融合模块、 卷积网络得到肝脏的特 征图； S4、 在解码器阶段， 利用多尺度特征融合模块、 网格注意力机制、 注意力引导连接模块、 转置卷积和深度监 督机制得到肝脏的分割图像。 2.根据权利要求1所述的基于多尺度特征融合和网格注意力机制的肝脏影像分割方 法， 其特征在于， 步骤S2中， 对选取的训练集中的三维肝脏影 像进行预处理具体包括： S21、 对训练集中的CT图像窗口选择合 适的窗口， 将窗口 的CT值设置为预设区间； S22、 对训练集进行降采样和重采样， 将图像数据的层间 间距调整到1m m； S23、 找到肝脏区域的开始和结束切片， 并在两个方向上 各扩张20个切片； S24、 对获取的切片图像进行直方图均衡化； S25、 随机选择32个连续的切片作为网络模型的输入， 输入图像尺寸为1 ×32×256× 256。 3.根据权利要求2所述的基于多尺度特征融合和网格注意力机制的肝脏影像分割方 法， 其特征在于， 步骤S2中， 初始化网络模型参数 具体包括： S26、 初始化网络模型参数， 包括批处理大小、 学习率、 迭代次数、 学习率衰减策略、 深度 监督衰减系数； S27、 使用kaimi ng权重初始化方法初始化网络模型权 重。 4.根据权利要求3所述的基于多尺度特征融合和网格注意力机制的肝脏影像分割方 法， 其特征在于， 步骤S3具体包括： S31、 在编码器网络的每一层中加入多尺度特 征融合模块， S32、 通过最大池化操作下采样进行 特征提取， 得到肝脏的特 征图； 其中， 所述编码器网络包括 四个下采样层， 每个下采样层由一个多尺度 特征融合模块、 两个卷积核大小为3 ×3×3的卷积、 一个批量归一化以及一个ReLU激活函数构成， 每个卷积 的过滤器数量为[32,64,128,256,512]； 每一层最后接上一个步长为2的最大池化操作， 最 终得到肝脏的特 征图。 5.根据权利要求4所述的基于多尺度特征融合和网格注意力机制的肝脏影像分割方 法， 其特征在于： 在多尺度特征融合模块中， 输入的特征图经过一个卷积核大小为1 ×1×1 的三维卷积来调整通道数， 将特征图按通道数均分为四个不同的特征图， 记为xi， i＝1,2, 3,4， 每组特征通道数为输入特征图通道数的四分之一， 特征图的大小不变； 除x1外， 每个xi 都进行一个卷积核大小为3 ×3×3的卷积操作， 接着进行批量归一化和ReLU激活得到四个 不同尺度的特征xi'； 将四个不同尺度的特征进行逐元素相加再经过卷积核大小为1 ×1×1 的卷积操作得到h， 然后采用类似残差的思想将h与xi'各自进行逐元素相加得到四个特征 xi”(x＝1,2,3,4)； 将四个 不同尺度特征xi”进行concat操作， 得到的特征图通道数与输入特 征图通道数一 致； 通过卷积核大小为1 ×1×1的卷积层得到最终输出的特 征图。 6.根据权利要求5所述的基于多尺度特征融合和网格注意力机制的肝脏影像分割方权　利　要　求　书 1/3 页 2 CN 115170582 A 2法， 其特征在于， 所述多尺度特 征融合模块公式如下： x”i＝x’i+h,i＝1,2,3,4 O＝Conv1(Concat(x”1,x”2,x”3,x”4)) 其中， Conv3表示卷积核大小为3 ×3×3的卷积操作， xi”(x＝1,2,3,4)代表了四个不同 尺度的特征信息， Conv1表 示卷积核大小为 1×1×1的卷积操作， O为多尺度特征融合模块的 输出特征图。 7.根据权利要求6所述的基于多尺度特征融合和网格注意力机制的三维肝脏影像分割 方法， 其特征在于， 步骤S4中， 所述解码 器网络包括四个上采样层， 每一层包含一个步长为2 的反卷积再接上两个卷积核大小为3 ×3×3的卷积、 一个批量归一化、 一个ReLU激活函数和 一个多尺度特 征融合模块。 8.根据权利要求7所述的基于多尺度特征融合和网格注意力机制的肝脏影像分割方 法， 其特征在于， 步骤S4具体包括： S41、 基于在解码器网络每层最后通过多尺度特征融合模块得到的特征与对应的编码 器网络上一层卷积最后得到的特征， 分别作为高层特征和 低层特征通过注意力引导连接模 块得到注意力图； S42、 将每一层通过注意力引导连接模块得到的注意力图进行一系列的卷积操作提取 特征； 其中， 解码 器网络中除了最底层， 其他的每一层的结果都通过不同尺度的上采样恢复 图像尺寸得到一个输出， 最终得到四个输出， 前三个输出会作为深度监督机制中的辅助损 失， 最后的输出作为输出的最终的掩码图； S43、 在网络模型迭代训练中的反向传播过程中， 通过计算网络模型预测的分割结果与 标签值之间的差异来计算损失值， 进而在损失值的基础上不断更新迭代参数值， 使网络模 型预测的分割结果接 近标签值， 进 而得到肝脏的分割图像。 9.根据权利要求8所述的基于多尺度特征融合和网格注意力机制的肝脏影像分割方 法， 其特征在于： 在注意力引导连接模块中， 分别有高层特征和低层特征输入， 首先将高层特征用转置 卷积操作进行上采样， 将两个特征分别输入到网格注意力模块中得到注意力特征图， 然后 将生成的注意力特征图与低层特征进 行逐元素相乘， 将得到的结果与高层特征转置卷积得 到的特征图进行co ncat操作， 输出 特征图； 在网格注意力 机制中， 分别输入高层特征和低层特征； 首先， 高层特征和低层特征通过 卷积核大小为1×1×1的三维卷积调整通道数， 通过步长为2的三 维卷积操作来进 行一次下 采样， 然后将其进 行简单的相加操作； 对相加融合得到的特征进 行ReLU激活非线性变换， 通 过Sigmoid激活函数生成注意力系数， 运用转置卷积对其进行上采样以匹配上层输入低层权　利　要　求　书 2/3 页 3 CN 115170582 A 3