(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675374.X (22)申请日 2021.12.31 (71)申请人 广东省人民医院 地址 510080 广东省广州市越秀区中山 二 路106号 (72)发明人 刘再毅　潘细朋　冯拯云　陈浩　 林欢　赵可　梁长虹　李振辉　 韩楚　陈鑫　王钰萌　陈小波　 颜黎栩　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 7/136(2017.01) (54)发明名称 非小细胞肺癌IHC染色图像肿瘤区域免疫分 级方法、 系统及存 储介质 (57)摘要 本发明公开了一种非小细胞肺癌IHC染色图 像肿瘤区域免疫分级方法、 系统及存储介质， 方 法包括下述步骤： 肿瘤区域自动识别， 定位全视 野数字切片WSI上肿瘤区域的具体位置， 为肿瘤 区域的定量分析做基础； 细胞分割计数， 确定每 一个全视野数字切片WSI切割的pat ch上的T淋巴 细胞数， 为计算每个WSI上的免疫分级提供数据 支持； 免疫分级， 根据病理切片肿瘤区域CD3、 CD8 阳性细胞密度确定患者的免疫分级， 所述免疫分 级包括高级和低级。 本发明通过对患者的免疫状 况进行分级， 有利于研究非小细胞肺癌中不同的 免疫级别对患者 生存状况的影响。 权利要求书3页 说明书10页 附图2页 CN 114494155 A 2022.05.13 CN 114494155 A 1.非小细胞肺癌IH C染色图像肿瘤区域免疫分级方法， 其特 征在于， 包括下述 步骤 肿瘤区域自动识别， 定位全视野数字切片WSI上肿瘤区域的具体位置， 为肿瘤区域的定 量分析做基础； 细胞分割计数， 确定每一个全视野数字切 片WSI切割的patch上的T淋巴细胞数， 为计算 每个WSI上的免疫分级提供 数据支持； 免疫分级， 根据病理切片肿瘤区域CD3、 CD8阳性细胞密度确定患者的免疫分级， 所述免 疫分级包括高级和低级。 2.根据权利要求1所述的非小细胞肺癌 IHC染色图像肿瘤区域免疫分级系统， 其特征在 于， 所述肿瘤区域自动识别的步骤具体为： 采样， 将放大M倍的数字病理切片下采样N倍， 得到区别肿瘤与非肿瘤区域的小倍率数 字病理切片， 所述小倍 率数字病理切片保持图片中各目标的相对位置及空间关系不变； 肿瘤区域分割， 将下采样后的小倍率数字病理切片中的肿瘤区域分割出来， 分割的结 果用二值图像表示， 肿瘤区域的像素值 为255， 非肿瘤区域的使用像素值 为0。 3.根据权利要求2所述的非小细胞肺癌 IHC染色图像肿瘤区域免疫分级系统， 其特征在 于， 所述肿瘤区域分割的分割方法为： 将采样后输出的小倍率数字病理切片提取RGB三个颜色通道， 同时将小倍率数字病理 切片颜色空间转 化为HSV模式， 提取H、 S通道； 将得到的RGB三个颜色通道， H、 S通道， 分别运用大津法OTSU操作， 在RGB上运用大津法 操作得到的值再与其对应的RGB通道做一个大小比较， 然后对比较后的结果作逻辑按位与 操作， 最后将所得到结果取反即可得到肿瘤区域； H、 S通道执行上诉同样的操作， 主要用于 调整复杂区域的肿瘤区域分割， 最后将各通道的结果作逻辑 运算， 分割出肿瘤区域。 4.根据权利要求1所述的非小细胞肺癌 IHC染色图像肿瘤区域免疫分级系统， 其特征在 于， 所述细胞分割计数的步骤具体为： patch切割， 将放大后IHC图像的数字病理图像肿瘤区域分割成不重叠的设定像素大小 的patch， 并确保每张patch上的肿瘤组织区域占整个patch面积不少于50％， 同时获取每个 patch在其所属数字病理切片中的相对位置起始坐标； 预处理， 将所述patc h切割步骤中输出的patc h上碳尘过 滤掉； 细胞分割识别， 将所述预处理步骤后的patch上的相应细胞分割出来， 同时分别识别出 染色阳性和染色阴性的细胞； 细胞计数， 统计所述分割识别步骤输出的每张patc h上染色阳性和染色阴性的细胞。 5.根据权利要求4所述的非小细胞肺癌 IHC染色图像肿瘤区域免疫分级系统， 其特征在 于， 所述patc h切割的步骤 包括： 切割执行， 完成肿瘤区域的切割操作， 所述切割操作具体为： 根据自动识别步骤得到的二值图像， 将肿瘤区域所有点的横坐标和纵坐标进行排序， 计算出肿瘤区域所对应的最小外 接矩形； 在得到最小外接矩形后， 选定每个patch的起始坐标， 在横纵两个方向上以设定的步长 进行切割， 为了 保证每个patch上的肿瘤区域占比不小于50％， 通过设置一个阈值来筛选 符 合要求的patc h； 上述筛选出来的patch是经过了N倍下采样， 为了得到每个实际的patch的起始坐标， 需权　利　要　求　书 1/3 页 2 CN 114494155 A 2要进行坐 标转换， 得到原始倍率 下的patch起始坐 标： (Xi*N， Yi*N)， 对于得到的每个patch保 留所属病理切片的ID号、 patc h所属病理切片中的起始坐标、 patc h尺寸大小信息； 检验切割的肿瘤区域patc h是否正确， 检测方法具体为： 可视化最小外接矩形， 用二值图像表示： 根据所述切割执行步骤中得到的最小外接矩 形的四个顶点坐标， 绘制肿瘤区域的最小外接矩形， 或者根据得到的最小外接矩形 的起始 坐标， 结合每 个patch的尺寸， 绘制最小外 接矩形； 在二值图像上可视化所有可能切割的patch区域： 根据所述切割执行步骤中得到的每 个patch上的起始坐标和尺 寸大小， 在 包含肿瘤区域的二值图像上画出每个patch可能的区 域； 在二值图像上可视化所有切割的patch区域： 根据所述切割执行步骤中得到的阈值， 筛 选出肿瘤区域占比大于50％的patch， 并在所述自动识别步骤中得到的二值图像中画出筛 选后的patc h区域， 检查筛 选是否得当； 在N倍下采样的数字病理图片上画出筛选后的patch， 并在每个patch区域标注上该 patch的起始坐标： 首先是对原始的病理切片进行N倍下采样， 然后根据所述切割执行步骤 中得到的筛选后的patch起始坐标和patch尺 寸， 在采样后的病理图像上绘制patch区域， 同 时根据patch所属的原始病理图像上的空间起始坐标， 在采样后的病例图像对应的patch区 域标出其起始坐标； 检验切割结果： 根据所述切割执行步骤中得到的patch及其对应的坐标信息， 找到对应 的切割区域， 如若能找到， 且patc h内容一样， 则表明切割正确。 6.根据权利要求5所述的非小细胞肺癌 IHC染色图像肿瘤区域免疫分级系统， 其特征在 于， 所述计算出肿瘤区域所对应的最小外 接矩形的方法为： 根据肿瘤区域的所有点的像素坐标， 将所有的横坐标(x1， x2， x3， ...)， 所有的纵坐标 (y1， y2， y3...)分别进行从小到大的排序， 然后分别选取最大、 最小值， 即Xmin＝min(x1， x2， x3， ...)、 Xmax＝max(x1， x2， x3， ...)、 Ymin＝min(y1， y2， y3， ...)、 Ymax＝max(y1， y2， y3， ...)， 肿瘤区域的最小外 接矩形可以这样表示(Xmin， Ymin)、 (Xmin， Ymax)、 (Xmax， Ymin)、 (Xmax， Ymax)。 7.根据权利要求1所述的非小细胞肺癌 IHC染色图像肿瘤区域免疫分级系统， 其特征在 于， 所述免疫分级步骤进行分级的具体方法为： 1)计算单位面积内CD3阳性细 胞数： 首先计算与CD3相关的肿瘤区域面积， 即所有patch 上肿瘤区域面积之和， 其次提取所述分割步骤的计数结果， 所有patch上的阳性细胞数之和 为总的肿瘤区域阳性细胞数， 总的阳性细胞数与总的肿瘤区域面积之比即为单位面积内 CD3阳性细胞 数； 2)计算与CD3相同病理号IHC染色下CD8单位面积阳性细胞数； 在IHC染色的CD8数字病 理切片下重复步骤2操作； 3)归一化单位面积阳性细胞数， 对某个数据中心的单位面积内CD3阳性细胞数和单位 面积内CD8阳性细胞数归一化， (Si‑Smin)/(Smax‑Smin)， Si为当前某一个病理切片步骤2)得分， Smin， Smax分别为某一个中心步骤2)中最大、 最小得分； 4)利用病人的生存状态和生存期OS， 或是无病生存期DFS， 分别将单位面积内CD3阳性 细胞数、 CD8阳性细胞数分为高、 低两组， 最佳截断点确定原则为高、 低两组Log ‑rank检验的 P值最小；权　利　要　求　书 2/3 页 3 CN 114494155 A 3