(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210526657.6 (22)申请日 2022.05.16 (71)申请人 大连民族大 学 地址 116000 辽宁省大连市开发区辽河西 路18号 (72)发明人 张建新　侯存巧　张冰冰　韩雨童　 (74)专利代理 机构 大连一通专利代理事务所 (普通合伙) 2123 3 专利代理师 樊荣 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/28(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06V 10/776(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力多实例学习的乳腺癌全尺寸病 理图像分类方法 (57)摘要 基于注意力多实例学习的乳腺癌全尺寸病 理图像分类方法， 该方法内容包括以下步骤： 步 骤1： 获取数据集和标签； 步骤2： 数据集预处理； 步骤3： 构建二阶段的全尺寸病理图像(WSI)分类 网络； 步骤4： 保存二阶段网络的最优权重； 步骤 5： 计算该网络在测试集上的准确率。 本发明的 SAMIL引入了轻量且高效的SA模块， SA融合空间 注意力和通道注意力， 它们分别用于捕获像素级 成对关系和通道依赖性。 SAMIL将MHA与LSTM堆 叠， 以自适应地突出最独特的实例特征， 从而更 好地计算所选实例之间的相关性， 提高分类精 度。 权利要求书2页 说明书5页 附图1页 CN 114998647 A 2022.09.02 CN 114998647 A 1.基于注意力多实例学习的乳腺癌全尺寸病理图像分类方法， 其特征在于： 该方法内 容包括以下步骤： 步骤1： 获取数据集和标签： 获取乳腺癌组织病理学图像的数据集和标签， 将乳腺癌组织病理学图像按照比例随机划分为训练集、 验证集和测试集； 步骤2： 数据集预 处理： 基于反二值化阈值处理操作对划分好的数据集进 行预处理， 为每一个WSI图片生成背 景/组织区域的掩码， 将组织区域切分成a ×a大小的切片， 保存切片的坐标组， 为进一步减 少计算量， 增设一个概率p， 当切片中组织区域的部分大于概率p时， 保存该切片的坐标， 处 理后的WSI图像X ′i可以表示为X ′i＝{xi,1,xi,2…,xi,m},其中m为每张全尺寸乳腺癌病理图像 中切片的个数； 步骤3： 构建二阶段的全尺寸病理图像(WSI)分类网络： 第一阶段用于实例的 选择， 使用SA ‑ResNet50网络对切片进行特征提取， 通过基于多实例学习方法选出每张WSI 中概率最大的前K个实例， 第二阶段用于全尺寸级别的预测， 通过多头注意力(MHA)与长短 期记忆(LSTM)网络叠加起来构建 的聚合器对整张WSI图像做出可靠的预测； 步骤4： 保存二 阶段网络的最优权重： 将数据集输入至二阶段的分类网络中， 采用训练集训练一阶段网络， 在每次迭代中更新网络参数， 每三次迭代对验证集进行一次验证， 根据最优验证集精度保 存一阶段网络的最优权重， 使用一阶段的最优权重对数据集进 行处理， 选择每张WSI中概率 排名最靠前的K个实例作为二阶段的输入， 利用一阶段最优权重初始 化二阶段网络， 每次训 练完成一个迭代之后进行一次验证， 根据最优验证集精度保存二 阶段网络的最优权重； 步 骤5： 计算该网络在测试集上 的准确率： 使用二阶段最优权重初始化网络， 将测试集输入该 网络中获得每张WSI的预测结果， 将预测结果与真实标签数据进 行对比， 统计正确预测和错 误预测的WSI个数， 计算该网络在测试集上的准确率。 2.根据权利要求1所述的基于注意力多实例学习的乳腺癌全尺寸病理图像分类方法， 其特征在于： 在步骤3中， 步骤31： 在一阶段， SA ‑ResNet50网络对切片进行特征提取： 将切片 X′∈RC×H×W作为预训练的SA ‑ResNet50网络的输入， 在ResNet50的残差结构之后， 得到特征 矩阵X∈Rc×h×w， 置换注意力首先沿着通道维度将X分为G组， 即X＝[X1,…,XG]， Xk∈Rc/G×h×w， Xk被继续分 成两个分支， 分别为Xk1,Xk2∈Rc/2G×h×w， 一个分支利用通道间的相互关系， 输出通 道注意力图， 另一个分支利用特征间的空间关系， 生成空间注意力图， 将两个分支的结果进 行连接， 使 得通道个数X ′k与Xk的通道个数相同， 随后， 将所有的特征矩阵X ′k进行聚合操作， SA模块的最终输出为Xout∈Rc×h×w， Xout通过全局平均池化产生切片的特征向量Xgap； 步骤32： 获取小块训练SA ‑ResNet50网络： 获得每张切片的特征 向量之后， 通过Softmax函数得到每 张切片的概率， 并对每张全尺寸图像中切片的概率从小到大排序， 取每张全尺寸图像中概 率排名最靠前的T个小块训练SA ‑ResNet50网络； 步骤33： 获得全尺寸级别预测的输入V： 使 用一阶段预训练好的最优权重文件对每张WSI中的切片进行预测， 并且对预测的概率进行 排序， 取每张全尺寸图像中概率最高的前K个实例作为全尺寸级别预测的输入V＝[v1,…, vK]∈RK×C； 步骤34： 聚合概率最高的前K个实例： 利用MHA和LSTM， 对于MHA中的第i个头部注 意力单元(Hi)， 其计算公式如下： 其中， V＝[v1,…,vK]∈RK×C， V表示所选前K个实例特征， K表示实例的个数， v1,…,vK表权　利　要　求　书 1/2 页 2 CN 114998647 A 2示单个实例特征， vj,vk∈V， C为实例特征嵌入维度， 卷积核为W∈RD×1和Z∈RD×C， D是特征嵌 入维度， 双曲正切tanh是激活函 数， 在元素乘法 之后， 对于MHA， 连接头单元的所有 输出， 执 行另一个卷积以投影回原来的维度： 其中， 表示特征增强之后的前K个实例， V＝[v1,…,vK]∈RK×C， V表示所选前K 个实例特征， K表示实例的个数， v1,…,vK表示单个实例特征， Wpro∈R(H×D)×C表示卷积核， T表 示矩阵的转置， H1,…,Hh表示头部注意力单元， h表示头数， C和D特征嵌入维度； 步骤 35： 进一 步建模所选Top‑K个实例之间的依赖关系： LSTM被进一步用于构建交互并融合交互实例， 以 获得有区别的图像级别表示， LSTM可以捕获短期和长期依赖关系， 给定输入特征序列 (v1,…,vK)， LSTM的隐藏层用以下公式从t＝1到t＝K递归计算： 其中， ft， it， ot分别表示遗忘门、 输入门和输出门， W{f,i,o,c}和U{f,i,o,c}表示需要学习的 权重矩阵， b{f,i,o,c}表示偏差向量， ht‑1是隐藏向量， ct表示记忆单元， Sigmoid和双曲正切 tanh表示激活函数， 最后一个LSTM的输出作为用于预测的最终包级别表示向量。权　利　要　求　书 2/2 页 3 CN 114998647 A 3