(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210604099.0 (22)申请日 2022.05.31 (71)申请人 东华大学 地址 201103 上海市长 宁区延安西路18 82 号 (72)发明人 韩迎康　陈德华　潘乔　王梅　 (74)专利代理 机构 北京力量专利代理事务所 (特殊普通 合伙) 11504 专利代理师 刘一霖 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 11/60(2006.01) G06T 5/10(2006.01) G06T 3/40(2006.01)G06N 3/04(2006.01) G06V 10/22(2022.01) G06V 10/25(2022.01) G06V 10/42(2022.01) G06V 10/52(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于自注意机制和稳定学习的淋巴瘤超声 图像语义分割方法 (57)摘要 本发明涉及一种基于自注意机制和稳定学 习的淋巴瘤超声图像语义分割方法， 针对淋巴瘤 超声图像构建分割网络， 对该网络进行训练得到 淋巴瘤图像分割模型， 利用该模 型对淋巴瘤超声 图像进行分割。 通过数据预处理模块， 对标注之 后的仪器扫描图像裁剪感兴趣区域、 调整像素间 距得到新的数据集， 用于模型的训练。 采用自注 意力机制实现编码器编码特征之间的非局部交 互， 缓解多次采样造成的信息衰退问题， 得到更 精确的分割目标对象 的结构边界； 采用稳定学习 方法通过随机傅里叶特征和对样本加权的方式 消除环境特征和本质特征之间的依赖关系， 减少 虚假相关问题， 提高分割精度； 采用反事实解释 方法， 对模型结果进行实例级别的解释， 提高模 型的可信度。 权利要求书2页 说明书6页 附图6页 CN 114972266 A 2022.08.30 CN 114972266 A 1.一种基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法， 其特征在于包 括： 获取淋巴瘤超声图像， 并将图像处 理作为训练样本； 构建淋巴瘤超声图像分割 网络： 所述淋巴瘤超声图像分割 网络包括数据预处理模块、 特征提取网络模块、 自注意力机制模块、 稳定学习模块、 反事实解释模块； 数据预处理模块， 用于对所有淋巴瘤超声图像样本进行裁剪与标注， 将预处理后的样 本作为分割网络的输入数据； 特征提取网络模块， 用于提取图像的空间信息和全局信息， 融合提取到的特征捕获更 清晰的对象边界； 自注意力机制模块， 用于实现特征之间的非局部交互， 缓解多次采样造成的信息衰退 问题； 稳定学习 模块， 用于通过随机傅里叶特征和对样本加权的方式消除环境特征和本质特 征之间的依赖关系， 实现泛化； 反事实解释模块， 用于对 模型结果进行实例级别的解释， 提高模型的可信度。 2.根据权利要求1所述的基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方 法， 其特征在于上述数据预处 理模块的运行步骤 包括： 步骤S11对超声仪器扫描的超声图像进行裁 剪， 去除超声扫描仪器添加的额外内容； 步骤S12将裁剪后的图像上传到PLabel标注系 统进行自由标注， 标注完成之后将在系 统中标注的图像交由经验丰富的医学专 家进行审查和修 正， 将最终的标注结果 导出； 步骤S13将导出的jso n文件读取生成真实的掩码图像； 步骤S14调整标注图像和原始图像像素间距得到分辨率为256 ×256的图像， 并裁剪感 兴趣区域图像， 并调整分辨 率为512×512。 3.根据权利要求2所述的基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方 法， 其特征在于上述特 征提取网络模块 运行步骤 包括： 步骤S21使用编码器结构进行下采样提取低级特征， 从而利用提取到的空间信息和全 局信息精确分割； 步骤S22解码器通过上采样逐步恢复空间信息， 融合编码器编码过程中提取到的特征 来捕获更加清晰的对象边界。 4.根据权利要求3所述的基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方 法， 其特征在于上述自注意力机制模块的运行步骤 包括： 步骤S32将编码器编码的最后一层特征输入到TSA模块， TSA模块将输入 的特征图和生 成的位置嵌入向量进行不同的线性变化生成query(Q)、 key(K)、 value(V)三个向量， 用于 attention的计算； 步骤S32将Q与K的转置相 乘得到Q与K元素之间的相似程度， 除以向量Q的维度dk的开方 保证softmax的梯度并通过softmax进行归一化， 得到一个上下文注 意力图A， 将A与V相乘得 到注意力加权的值， 公式如下 所示： 步骤S33将注意力 机制模块得到的返回值与最后一层特征进行逐元素相加得到一个融权　利　要　求　书 1/2 页 2 CN 114972266 A 2合的特征图F用于解码器的输入。 5.根据权利要求4所述的基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方 法， 其特征在于上述稳定学习模块的运行步骤 包括： 步骤S41将特征图输入稳定学习模块， 通过随机傅里叶特征将输入的特征从低维度映 射到高维度空间， 消除特 征之间的相关性， 随机傅里叶特 征公式如下 所示： h是对输入的低维度 特征x进行随机傅里叶变换后得到的高维空间特征， ω是从标准正 态分布中采样的随机变量， ωx表示随机变量ω与x相乘进行变换， 是从均匀分布中采样的 随机变量； 步骤S42通过计算两个随机变量 之间的协方差的最小 值得到样本加权权重的最优值w*， 公式如下 所示： w*＝argminw∈ Δn∑1≤i<j≤ncov(wiXi,wjXj)， 式子中的 n为输入的批次数， 即传入的样本特征图的数目， Xi和Xj分 别为样本空间中的不同样本的特 征图， wi和wj分别为样本Xi和Xj对应的加权 权重； 步骤S43深度学习使用全部样本全局地学习样本权重和特征需要巨大开销， 所以需要 存储和重加载样本权重， 通过一个可学习的参数αi来进行全局权重和特征的更新， 权重更 新公式如下 所示： X′Gi＝αiXGi+(1‑αi)XL， W′Gi＝αiWGi+(1‑αi)WL， XGi和XL分别为全局样本特征和当前样本特征， WGi和WL分别为全局样本权重和当前样本 权重； 步骤S44将计算出的最优权重与样本的loss值相乘得到新的loss用于模型的训练， loss更新公式如下 所示： loss＝SoftDiceL oss(SR,GT).view(1, ‑1).mm(w*).view(1)， SR和GT分别为模型 给出的预测值和真实值。 6.根据权利要求5所述的基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方 法， 其特征在于上述反事实解释模块的运行步骤 包括： 步骤S51通过 快速位移图像分割算法生成图像的分割片段 步骤S52通过对分割片段进行遮掩， 寻找一组不可约片段使得模型的IoU评分减少最 多， 公式如下 所示： T(I\S)<T(I)(I oU reduce)， I表示生成图像的分割片段， S表示过度分割片段， T表示分割模型； 步骤S53将这组片段映射到原图， 生成对 模型结果的实例级别的解释。权　利　要　求　书 2/2 页 3 CN 114972266 A 3