(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210640395.6 (22)申请日 2022.06.08 (71)申请人 江苏师范大学 地址 221116 江苏省徐州市铜山 新区上海 路101号 (72)发明人 李垚　余南南　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 雷向永 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于注意力机制的深度学习模型 (57)摘要 本发明公开了基于注意力机制的深度学习 模型， 包括数据集， 数据集缩放后按比例划分为 训练数据集和测试数据集； 深度学习模型， 由负 责提取特征信息的编码器和负责恢复空间信息 的解码器组成。 本发明通过将卷积操作与自注意 力机制相结合， 同时提取局部低级特征和全局上 下文特征。 同时在编码器与解码器 之间的跳跃连 接上引入通道和空间注意力模块抑制无关信息， 最大程度利用有用信息， 从而提高分割精度， 实 现更加精确的脑血肿分割。 权利要求书1页 说明书4页 附图2页 CN 115240049 A 2022.10.25 CN 115240049 A 1.基于注意力机制的深度学习模型， 其特 征在于， 包括： 数据集， 数据集缩放后按比例划分为训练数据集和 测试数据集； 深度学习模型， 由负责提取 特征信息的编码器和负责恢复空间信息的解码器组成。 2.根据权利要求1所述的基于注意力机制的深度学习模型， 其特征在于： 深度学习模 型， 具体设计如下： (2.1)编码器进行四次下采样最大池化操作， 由四层残差 网络和自注意力网络组成， 残 差网络用于避免梯度消失问题， 提高特征的传播率， 自注意力网络位于编 码器底部， 通过高 阶运算提取图像全域的特 征关联特性， 从全局角度提取 血肿特征； (2.2)解码器进行四次上采样双线性插值操作， 由四层卷积层和最后的分类层组成， 每 个卷积层包括两组3*3卷积、 批量归一化Batch  Normalization和非线性激活函数ReLU， 分 类层由3*3卷积和sigmo id激活函数组成； (2.3)编码器和解码器之间存在跳跃连接， 编码器特征经过通道注意力模块和空间注 意力模块学习 各个通道和特征区域上 的权重， 通过该权重突出有用特征信息， 抑制无关信 息后与解码器前一层的上采样输出进行通道拼接以提高空间信息恢复 效率。 3.根据权利要求2所述的基于注意力 机制的深度学习 模型， 其特征在于： 自注意力网络 由位于编 码器底部的多个注意力头组成。 其主要作用是通过在高级特征图中的每个像素之 间建立联系来获得整张输入图像的感受野。 所以在分割脑血肿区域时对输入图像的某个特 定像素的分类决策会受到任意 其他像素的影响。 自注意力计算公式如下： 4.根据权利要求2所述的基于注意力 机制的深度学习 模型， 其特征在于： 通道注意力模 块由输入的CT图像经过卷积层生成的特征图X 由单通道增加为多通道。 每个通道的特征图 所表达的信息是不同的， 有效特征信息可能仅出现于特定通道中。 通道注意力模块的作用 是利用每 个通道之间的关系来学习权 重， 然后乘以对应的通道。 5.根据权利要求4所述的基于注意力 机制的深度学习 模型， 其特征在于： 通道注意力系 数的计算公式如下： AttentionC(X)＝σ(MLP(Avgpo ol(X))+MLP(Maxpo ol(X))) 式中σ 表示sigmoid激 活函数， MLP表示多层感知器， Avgp ool和Maxp ool分别表示全局平 均池化和全局最大池化。 6.根据权利要求2至5任意一项所述的基于注意力机制的深度学习模型， 其特征在于： 空间注意力模块关注对当前分割任务最具有意义的信息， 空间注意力系数的计算公式如 下： AttentionS(X)＝σ(f7×7([Avgpool(X)； Maxpo ol(X)])) 式中σ 表示sigmoid激活函数， f7×7表示7*7的卷积操作， Avgpool和Maxpool分别表示全 局平均池化和全局最大池化。 7.根据权利要求2至5任意一项所述的基于注意力机制的深度学习模型， 其特征在于： 训练数据集和 测试数据集比例为9:1。权　利　要　求　书 1/1 页 2 CN 115240049 A 2基于注意力机制的深度学习模型 技术领域 [0001]本发明涉及图形分割技 术领域， 尤其涉及基于注意力机制的深度学习模型。 背景技术 [0002]随着近年来深度学习技术被广泛应用于医学图像处理领域， 基于卷积神经网络的 语义分割模型在分割目标病灶区域有着优异的表现。 其中模型的特征提取能力和空间信息 恢复能力对分割精度起着重要作用， 直接影响最终预测结果。 [0003]在脑血肿分割任务中， 脑CT图像中的血肿为高密度区， 但由于大脑结构的复杂性、 血肿形态和位置的多样性， 准确可靠地分割 血肿是极为困难的。 而卷积操作具有只能进行 线性运算和提取局部特征 的局限性， 分割任务往往出现过分割和 欠分割问题， 特别是不规 则形状的血肿和贴近颅骨的血肿。 因此利用现有语义分割模型对脑血肿的精确分割是难以 实现的。 发明内容 [0004]本发明的目的是为了解决现有技术中存在的缺点， 而提出的基于注意力机制的深 度学习模型， 利用自注意力机制、 通道 注意力机制和空间注意力机制提高分割精度。 [0005]为了实现上述目的， 本发明采用了如下技 术方案： [0006]基于注意力机制的深度学习模型， 其特 征在于， 包括： [0007]数据集， 数据集缩放后按比例划分为训练数据集和 测试数据集； [0008]深度学习模型， 由负责提取特征信息的编码器和负责恢复空间信息的解码器组 成。 [0009]优选地， 深度学习模型， 具体设计如下： [0010](2.1)编码器进行四次下采样最大池化操作， 由四层残差网络和自注意力网络组 成， 残差网络用于避免梯度消失问题， 提高特征 的传播率， 自注意力网络位于编码器底部， 通过高阶运 算提取图像全域的特 征关联特性， 从全局角度提取 血肿特征； [0011](2.2)解码器进行四次上采样双线性插值操作， 由四层卷积层和最后的分类层组 成， 每个卷积层包括两组3*3卷积、 批量归一化Batch  Normalization和非线性激活函数 ReLU， 分类层由3 *3卷积和sigmo id激活函数组成； [0012](2.3)编码器和解码器之间存在跳跃连接， 编码器特征经过通道注意力模块和空 间注意力模块学习 各个通道和特征区域上 的权重， 通过该权重突出有用特征信息， 抑制无 关信息后与解码器前一层的上采样输出进行通道拼接以提高空间信息恢复 效率。 [0013]优选地， 自注意力网络 由位于编码器底部 的多个注意力头组成。 其主要作用是通 过在高级 特征图中的每个像素之间建立联系来获得整张输入图像的感受野。 所以在分割脑 血肿区域时对输入图像的某个特定像素的分类决策会受到任意其他像素的影响。 自注意力 计算公式如下：说　明　书 1/4 页 3 CN 115240049 A 3