(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210907330.3 (22)申请日 2022.07.29 (71)申请人 太原理工大 学 地址 030024 山西省太原市迎泽西大街79 号 (72)发明人 张玲　李钢　卫建建　贺艺斌　 孙梦霞　孙源瑾　李智超　 (74)专利代理 机构 太原高欣科创专利代理事务 所(普通合伙) 14109 专利代理师 孟肖阳　冷锦超 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/42(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于ViT与上下文特征融合的蜂窝肺病灶分 割方法及网络 (57)摘要 本发明提供了基于V iT与上下文特征融合的 蜂窝肺病灶分割方法及网络， 属于图像处理技术 领域； 本发 明网络可实现更高精度分割蜂窝肺病 灶部位； 利用通道混合卷积块增加不同通道之间 信息的交互， 充分提取病灶部位特征信息； 采用 Transformer架构作为编码器与解码器的特征连 接器， 增强全局信息的特征表达， 扩大网络的感 受野； 采用CFB模块融合多阶段的特征， 减少高级 特征与低级特征之间的语义差距， 提高病灶部位 与目标边缘的分割精度； 本发明应用于蜂窝肺病 灶分割。 权利要求书3页 说明书7页 附图5页 CN 115526829 A 2022.12.27 CN 115526829 A 1.基于ViT与上 下文特征融合的蜂窝肺病灶分割方法， 其特 征在于： 包括如下步骤： S1： 获取蜂窝肺CT影像数据， 对原始图像进行数据预处理， 并将预处理后的数据集分为 训练集与测试集； S2： 构建基础UNet网络， 包括下采样的编码器、 上采样的解码器、 跳跃 连接与瓶颈层； S3： 对构建的基础UNet网络进行改进， 改变网络上采样层、 下采样层中的卷积操作， 利 用通道混合卷积块代替传统卷积结构； 其中通道混合卷积块对特征图分离后分为两个分支S1、 S2， 分支S1保持特征图与通道 数不变， 对分支S2进行卷积， 之后， 对经过卷积操作的特征图与分支S1的特征图进行融合； 最后， 采取通道混合操作 交换特征图各个通道之间的信息， 获得 的特征图与上层特征图大 小相同， 对获取的特 征图再次进行通道分离、 分支卷积、 通道拼接与通道混合操作； S4： 在网络的瓶颈层中， 利用基于ViT的上下文连接器对图像 中各个像素点之间的全局 关系进行建模， 使用ViT代替高通道的卷积模块； S5： 使用上下文感知融合模块改进跳跃连接部分低级与高级特征的特征融合方案， 对 特征重新学习； S6： 定义分割模型的超参数， 利用S1处理后的数据集进行训练， 得到损失函数的损失值 和分割结果； S7： 根据结果调整网络参数， 生成并保存训练好的病灶分割模型， 将测试集数据输入至 训练好的病灶分割模型， 对蜂窝肺CT图像病灶进行分割， 输出分割结果。 2.根据权利要求1所述的基于ViT与上下文特征融合的蜂窝肺病灶分割方法， 其特征在 于： 所述基于ViT的上下文连接器采用六个Tr ansformer编码块提取图像中的全局信息， 其 中， ViT包括四个部分： （1） 切片嵌入： 通过将原始的二维图像转化为一维的序列数据， 根据编码器的输出图 像， 设置切片的尺寸， 图像转 化为多个切片， 算出切片的维度； （2） 位置编码： 给每个切片标记其相对应的位置信 息以便恢复图像的维度， 位置信息与 切片嵌入的输出保持一 致， 保存每 个切片正确的位置信息， 计算 其维度； （3） Transformer编码块 中的多头注意力机制： 经过图像切 片化与位置编码信息的建立 阶段后， 将图像的切片信息输入Transformer  编码块中， 学习切片与切片之间、 每个切片中 的每个像素之间的关系， 对全局信息进行上下文建模； 该部分的多头注意力层接 收切片与 位置编码信息， 通过使用多个注意力头在不同的子空间学习 更多相关的信息， 利用不同的 权重矩阵对每一个注意力头中的Q、 K初始 化， 对多头注 意力层学习的全局特征采 取Dropout 操作， 使用归一 化层修改特 征维度适应后续输出， 加速模型的收敛速度； （4） Transformer编码块中的多层感知机层： 这一部分采用MLP块学习特征之间的非线 性关系； 在每 个子层均使用残差连接和层归一 化操作。 3.根据权利要求1所述的基于ViT与上下文特征融合的蜂窝肺病灶分割方法， 其特征在 于： 所述上下文感知融合模块接收来自编码 器的低级 特征与解码 器的高级 特征， 第一步， 先 采用GAP （全局平均池化操作） 生成具有全局空间信息的特征图， 通过利用共享权重的多层 感知机对低级与高级 特征图中的上下文信息进行建模生 成向量h与l， 其中， h、 l分别表 示高 级、 低级特征图中的权重 向量； 第二步， 采用残差学习的思想， 权重向量与两个特征图相乘 生成重分布的特征图， 接着按通道维度进行拼接操作， 生成包含局部和高层次阶段 的全局权　利　要　求　书 1/3 页 2 CN 115526829 A 2上下文信息的特征图； 第三步， 采用两个3*3卷积用于实现加权特征融合， 使用残差连接接 受来自高级特 征的信息 。 4.根据权利要求1所述的基于ViT与上下文特征融合的蜂窝肺病灶分割方法， 其特征在 于： 所述编码 器包含四个通道混合卷积块， 用于提取图像的高层特征与低层特征信息， 每个 通道混合卷积块包含2个卷积层、 批归一化层和修正线性单元ReLU， 每个通道混合卷积块提 取的特征图包含两个通路， 第一条通路接最大池化层对特征图进 行下采样操作传入下一个 卷积块； 另一条通路进入跳跃 连接路径。 5.根据权利要求1所述的基于ViT与上下文特征融合的蜂窝肺病灶分割方法， 其特征在 于： 所述解码器包含4个与编码器相同的通道混合卷积块， 每个通道混合卷积块包含2层卷 积计算， 批归一化与Relu激活函数， 每个通道混合卷积块之后利用反卷积对特征图进行上 采样， 经过转置卷积 操作的特 征图扩充至2倍大小。 6.基于ViT与上下文特征融合的蜂窝肺病灶分割 网络， 其特征在于： 包括编码器、 解码 器和设置在网络瓶颈层的基于ViT的上下文连接器、 设置在跳跃连接阶段的四个上下文感 知融合模块， 编 码器包括四个下采样模块， 解码 器包括四个上采样模块， 下采样模块与上采 样模块中均包括通道混合卷积块， 每个通道卷积混合块包含2个卷积层、 批归一化层和修正 线性单元ReLU， 下采样模块中的每个通道混合卷积块提取的特征图包含两个通路， 第一条 通路接最大池化层 对特征图进 行下采样操作传 入下一个卷积块； 另一条通路进入跳跃连接 路径， 上采样模块中的每个通道混合卷积块之后利用反卷积对特征图进行上采样， 经过转 置卷积操作的特 征图扩充至2倍大小； 在网络的瓶颈层， 采取ViT将特 征图切片化， 计算特 征图中的全局关系； 在跳跃连接阶段， 将编码器中四个通道卷积混合块得到的特征图与 上采样后的特征图 分别输入 含有上下文感知融合模块的路径进行 特征增强操作。 7.根据权利要求6所述的基于ViT与上下文特征融合的蜂窝肺病灶分割网络， 其特征在 于： 所述通道卷积混合块包括通道分离模块、 通道拼接模块、 通道混合模块， 其中通道分离 模块包括两个分支S1、 S2， 分支S1保持特征图与通道数不变， 对分支S2进行卷积， 两个分支 输出的特征图经过通道拼接模块和通道混合模块， 每个通道卷积混合块进 行两次的通道分 离、 通道拼接、 通道混合操作输出 特征图。 8.根据权利要求6所述的基于ViT与上下文特征融合的蜂窝肺病灶分割网络， 其特征在 于： 所述基于ViT的上下文 连接器包括切片嵌入模块、 位置编码模块、 六个Transformer编码 块， 每个Transformer编码块包含多头注 意力机制模块和多层感知机模块， 所述切片嵌入模 块和位置编码模块位于ViT模块的开始部分， 切片嵌入模块将原始二维图像转化为多个切 片的一维序列数据， 位置编码模块给每个切片标记相对应的位置信息， 所述多头注意力机 制模块位于Transformer编码块的前半部分， 接收切片与位置编码信息， 包括多个注意力 头、 Dropout操作和归一化层， 所述多层感知机模块位于Transformer编码块的后半部分， 包 括多层感知机层和归一 化层。 9.根据权利要求6所述的基于ViT与上下文特征融合的蜂窝肺病灶分割网络， 其特征在 于： 所述上下文感知融合模块包括并行 的两个全局平均池化层、 多层感知机层、 卷积块， 两 个并行的全局平均池化层分别接 收来自编码器的低级特征与解码器的高级特征生成具有 全局空间信息的特征图， 多层感知机利用共享权重对低级与高级 特征图中的上下文信息进权　利　要　求　书 2/3 页 3 CN 115526829 A 3