(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210488808.3 (22)申请日 2022.05.07 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 朱承璋　王晗　肖亚龙　邹北骥　 柴娴　 (74)专利代理 机构 长沙市融智专利事务所(普 通合伙) 43114 专利代理师 熊开兰 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度卷积神经网络的OCTA图像血管分 割方法、 设备及 介质 (57)摘要 本发明公开了一种基于深度卷积神经网络 的OCTA图像血管分割方法、 设备及介质， 属于医 学图像处理技术领域。 其中方法包括： 针对待分 割的OCTA图像中的en  face图像， 使用训练好的 血管分割模型进行血管分割； 其中， 所述血管分 割模型采用深度卷积神经网络结构， 由粗分网络 和细分网络级联而成； 所述粗分网络接受en   face图像作为输入， 生成初步的血管分割图； 所 述细分网络拼接原始的en  face图像和初步血管 分割图并作为新的输入， 最终输出细化后的血管 分割图。 本发明的深度卷积神经网络能够完整、 精确地提取血管信息， 尤其是在微血管分割方面 表现优异。 权利要求书3页 说明书7页 附图4页 CN 114881968 A 2022.08.09 CN 114881968 A 1.一种基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在于， 针对待分割的 OCTA图像中的en  face图像， 使用训练好的血管分割模型进行血管分割； 其中， 所述血管分 割模型采用深度卷积神经网络结构， 由粗分网络和细分网络级联而成； 所述粗分网络接受 en face图像作为输入， 生成初步的血管分割图； 所述细分网络拼接原始的en  face图像和 初步血管分割图并作为 新的输入， 最终输出细化后的血 管分割图。 2.根据权利要求1所述的基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在 于， 所述粗分网络和细分网络， 均为由编码器和解码器构成的U型网络； 除编码器第一层之 外， 所述粗分网络和细分网络的结构相同， 权重共享； 除了输出层为倍频程卷积块外， 网络 各层均设置为倍频程残差卷积块； 编 码器各层之间使用平均池化对输入图像进行逐级 下采 样， 解码器各层之间使用转置的倍频程卷积进行上采样； 编码器与解码器之间添加融合上 下文信息的注意力块， 在两级网络之间引入多尺度特 征块。 3.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在 于， 倍频程卷积块由大小为3 ×3的倍频程卷积、 BN层、 ReLU层和Dr opout层组成； 倍频残差卷 积块由两个倍频程卷积块和用于构成残差的跳跃连接组成； 跳跃连接使用带BN层的大小为 1×1的倍频程卷积， 跳跃连接插入的时机是在第二个倍频程卷积块的BN层之后， ReLU激活 之前。 4.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在 于， 编码器与解码器之间的注意力块， 首先通过自注意力机制建模特征图中任意两像素位 置之间的依赖关系， 提取包括丰富血管结构信息的上下文特征； 然后将提取 的上下文特征 融合到通道中， 通过建模通道间的相互依赖关系来自适应地重新校准通道方向的特征响 应。 5.根据权利要求4所述的基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在 于， 所述通过自注意力机制建模特 征图中任意两像素位置之间的依赖关系， 具体包括： 步骤A1： 将编码器输出的特征 图F∈RC×H×W作为注意力块的输入， 分别输入大小为1 ×3 的倍频程卷积和3 ×1的倍频程卷积中， 依次经过BN层、 ReLU层和reshape操作后 得到输出， Fy∈RC×N和Fx∈RC×N； 其中C代表通道数、 H和W分别代表特征图的高和宽， N＝H ×W表示特征 数， Fy、 Fx分别表示所捕获的竖直和水平方向上的血 管轮廓特 征； 步骤A2： 对Fy进行转置得到 在 和Fx的矩阵乘积上通过Softmax函数计算空 间中任意两点(x， y)之间的关系权值， 即注意力权值： 步骤A3： 将特征图F∈RC×H×W输入1×1倍频程卷积中， 依次经过BN层、 ReLU层和reshape 操作得到特征图Fv∈RC×N； 将Fv和步骤A2计算得到的注意力权值矩阵σs∈RN×N相乘获得增强 后的特征F ′∈RC×N， 并reshape得到特征图F ′∈RC×H×W； 对F和F′执行逐元素相 加操作， 得到特 征图Fs∈RC×H×W， Fs聚合了全局的上 下文信息， 其中包括丰富的血 管结构信息 。 6.根据权利要求4所述的基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在 于， 所述通过建模通道间的相互依赖关系， 具体包括： 步骤B1： 分别通过全局平局池 化和全局最大池 化操作提取特征图Fs∈RC×H×W中的空间信权　利　要　求　书 1/3 页 2 CN 114881968 A 2息Fap∈RC×1×1和Fmp∈RC×1×1； FS为包括丰富血 管结构信息的上 下文特征的特征图； 步骤B2： 将Fap和Fmp输入权重共享的1 ×1的倍频程卷积块中， 并将卷积块的输出在通道 维度逐元素相加， 以融合各通道特征， 最后通过Softmax函数计算得到各通道的权值响应σc ∈RC×1×1： σc＝σ {OctCo nv1(Fap)+OctConv1(Fmp)} 其中OctConv1( ·)表示由大小为1 ×1的倍频程卷积、 BN层和ReLU层构成的卷积块； σ 表 示Softmax激活函数； 步骤B3： 将注意力块原始输入的特征图F∈RC×H×W， 与步骤B2计算得到的权值矩阵σc相乘 获得增强后的特征F ″∈RC×H×W， 将F与F″逐元素相加， 得到注意力块的最终输出特征图Fc∈RC ×H×W。 7.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在 于， 多尺度特 征块的构建步骤如下： 步骤C1： 对于第x个多尺度特征块， 首先获取粗分网络编码器提取的不同尺度丰富低级 语义特征 其中x∈[1， 4]， y∈[x+1， 5]， 表示粗分网络编码器第y层输出的特征图， Upsample (·)表示上采样 操作， OctCo nv1(·)表示由大小为1 ×1的倍频程卷积； 步骤C2： 将 与细分网络编码器对应层的特征图 执行逐元素相乘， 所得结果再与 相加得到融合 不同尺度信息的特 征Fout， 即为第x个多尺度特 征块的输出： 其中 表示细分网络编码器第x层输出的特征图， +、 *分别表示逐元素相加和相乘操 作， σ 为Softmax激活函数； 步骤C3： 将第x个多尺度特征块输出的特征图Fout， 通过跳跃连接与细分网络解码器输 入特征图进行拼接， 促进不同尺度的语义特 征深度融合。 8.根据权利要求2所述的基于深度卷积神经网络的OCTA图像血管分割方法， 其特征在 于， 训练深度卷积神经网络得到所述血 管分割模型的损失函数为： 其中λ是一个超参数， 负责平衡粗分网络和细分网络损失函数项的权重占比； Lc和Lr分 别表示粗分网络和细分网络的损失函数项， 均为基于均方误差损失函数Lmse和Dice损失函 数Ldice的联合损失函数； 将Lc和Lr统一表示 为L， 则： L＝Lmse+Ldice 其中， M表示en  face图像中的像素的个数， gi∈[0， 1]， pi∈{0， 1}分别表示第i个像素的权　利　要　求　书 2/3 页 3 CN 114881968 A 3