(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210575594.3 (22)申请日 2022.05.18 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市屯溪路193号 (72)发明人 祝新宇　史骏　束童　唐昆铭　 孙宇　杨志鹏　王垚　张元　 郑利平　 (74)专利代理 机构 安徽合肥华信知识产权代理 有限公司 341 12 专利代理师 余成俊 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06T 7/00(2017.01) G06T 7/194(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于弱监督学习和转换器的肺癌组织病理 全切片分类方法 (57)摘要 本发明公开了一种基于弱监督学习和转换 器的肺癌组织病理全切片分类方法， 步骤包括： 1、 获取具有全切片级别标签的肺癌组织病理全 切片图像数据集并在双倍率下采集组织图像数 据； 2、 建立能够分别提取双倍率下图像的深度特 征的双分支网络模型并提取、 聚合 （1） 中双倍率 图像的深度特征； 3、 建立能够预测全切片图像阴 阳性的弱监督视觉转换器网络模型并输入步骤 （2） 中得到的深度特征进行全切片阴阳性分类； 4、 利用全切片级别标签的肺癌组织病理全切片 图像数据集弱监督训练网络模型； 5、 利用训练好 的模型对肺癌组织病理全切片图像进行阴阳性 分类。 权利要求书2页 说明书5页 附图1页 CN 114782753 A 2022.07.22 CN 114782753 A 1.一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法， 其特征在于： 具体 包括如下步骤： (1)、 获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集 组织图像数据； (2)、 建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、 聚合(1) 中双倍率图像的深度特 征； (3)、 建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中 得到的深度特 征进行全切片阴 阳性分类； (4)、 利用全切片级别标签的肺癌组织病理全切片图像数据集弱监 督训练网络模型； (5)、 利用训练好的模型对肺癌组织病理全切片图像进行 阴阳性分类。 2.根据权利要求1所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方 法， 其特征在于： 步骤(1)所述的获取具有全切片级别标签的肺癌组织病理全切片图像数据 集并在双倍率下采集组织图像数据， 具体如下： 对肺癌组织病理全切片图像按照阴阳性标签整理， 记为 其中Xi表示第i个肺 癌组织病理全切片， yi表示第i个肺癌组织病理全切片的阴阳性标签， N表示肺癌组织病理 全切片图像总数； 将全切片图像去除空白背 景区域并进 行分块处理， 在10X倍率下随机采样 得到多个图像块， 记为 其中， 表示第i个全切片在10X倍率下第j个图像 块， C表示图像块的通道数， P ×P表示每个图像块的宽度和高度； 并在20X倍率下获取10X倍 率下的图像对应的图像块， 记为 其中 表示10X倍率下图像块 在20X 倍率下的第k个图像块； i＝1,2, …,N， j＝1,2, …,n， k＝1,2, …,4； n表示10X倍率下图像块 的数量。 3.根据权利要求2所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方 法， 其特征在于： 步骤(2)所述的建立能够分别提取双倍率下图像的深度特征的双分支网络 模型并提取、 聚合(1)中双倍 率图像的深度特 征， 具体如下： 所述的双分支网络模型第一分支和第二分支均由预训练的ResNet5 0残差网络构成； 步骤2.1、 将10X倍 率下图像块送入网络第一分支， 得到N个d维深度特 征表示； 步骤2.2、 将20X倍 率下图像块送入网络第二分支， 得到4 N个d维深度特 征表示； 步骤2.3、 利用式(1)将每个10X倍率下的深度特征与其对应的4个20X倍率下的深度特 征聚合得到4 N个D维全局特 征表示xjk， 式(1)中， Concat( ·)表示特征联合处理； xjk表示第i个肺癌组织病理全切片的第j个图 像块的第k个D维全局特征表示， 表示全局特征表示向量维数为D， 其中i＝1,2, …,N， j ＝1,2,…,n， k＝1,2,…,4， D＝2d。 4.根据权利要求3所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方 法， 其特征在于： 步骤(3)所述的建立能够预测全切片图像阴阳性的弱监督视觉转换器网络 模型并输入步骤(2)中得到的深度特 征进行全切片阴 阳性分类， 具体如下：权　利　要　求　书 1/2 页 2 CN 114782753 A 2构建由编码器构成的视觉转换器ViT， 编码器包括： 两个归一化层、 多头注意力机制层 以及多层感知器； 步骤3.1、 设置一个可学习的分类标记， 利用式(2)得到4N个全局特征表示和 分类标记 xclass的输入序列z0， 作为编码器的输入； z0＝[xclass； x11； x12； x13； x14；…； xN1； xN2； xN3； xN4]    (2) 步骤3.2、 利用式(3)得到4N个全局特征表示和分类标记xclass经过编码器的多头自注意 力机制层的输出z'； z'＝MSA(L N(z0))+z0    (3) 式(3)中， MSA( ·)表示多头自注意力机制层的处 理； LN(·)表示归一 化层的处 理； 步骤3.3、 利用式(4)得到编码器的多层感知器的输出zL； zL＝MLP(LN(z'))+z'    (4) 式(4)中， MLP( ·)表示多层感知器的处 理； LN(·)表示归一 化层的处 理； 步骤3.4、 利用式(5)得到经归一化处理后的输出z ′L， 并提取出分类标记xclass对应的D 维特征 z′L＝LN(zL)    (5) 式(5)中， L N(·)表示归一 化层的处 理； 步骤3.5、 利用式(6)对特 征进行线性变换， 得到线性分类 器的输出 结果ppred； 式(6)中， L inear(·)代表线性分类函数； c代表阴性/阳性。 5.根据权利要求4所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方 法， 其特征在于： 步骤(4)所述的利用全切片级别标签的肺癌组织病理全切片图像数据集弱 监督训练网络模型， 具体如下： 利用式(7)构建交叉熵损失函数L， 并利用梯度下降算法训练由双 分支网络和弱监督视 觉转换器网络所构成的网络模型， 使得交叉熵损失函数L达到收敛， 从而得到训练好的能够 预测全切片阴 阳性的网络模型； 式(7)中， ylabel为全切片图像对应的阴 阳性标签， N 为全切片图像总数。 6.根据权利要求5所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方 法， 其特征在于： 步骤(5)所述的利用训练好的模型对肺癌组织病理全切片图像进 行阴阳性 分类， 具体如下： 首先在肺癌组织病理全切片图像上随机采集10X倍率下的图像块， 并获取每一图像块 对应的20X倍率下的图像块， 分别送入步骤(2)中所述的双分支深度特征提取网络， 得到10X 倍率和20X倍率的深度特征， 将10X倍率的深度特征拼接上20X倍率的深度特征， 融合双倍率 特征， 送入步骤(3)中所述能够预测全切片图像阴阳性的弱监督视觉转换器网络模 型， 得到 全切片的阴 阳性分类结果。权　利　要　求　书 2/2 页 3 CN 114782753 A 3