(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210960232.6 (22)申请日 2022.08.11 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 王宇光　沈逸卿　 (74)专利代理 机构 上海伯瑞杰知识产权代理有 限公司 312 27 专利代理师 孟旭彤 (51)Int.Cl. G06T 7/11(2017.01) G06T 5/50(2006.01) G06V 10/42(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种病理图像处 理方法、 模型和设备 (57)摘要 本发明公开了一种病理图像处理方法， 在接 收到的病理图像中构建细胞图， 该细胞图包含有 细胞结构信息； 将所述细胞图输入 经过训练的病 理图像处理模型， 获得融合特征为HO， 用于预测 基因标记物的表达。 病理图像处理模 型融合了图 卷积神经网络GNN模型和卷积神经网络CNN模型， GNN模型用于从所述细胞图中提取低维度特征 HG， CNN模型用于从所述病理图像中提取图像层 面的低维度特征HI， 特征HG和HI经过一个融合层 的拼接后得到融合特 征为HO。 权利要求书2页 说明书3页 附图1页 CN 115294157 A 2022.11.04 CN 115294157 A 1.一种病理图像处 理方法， 其特 征在于， 包括 步骤， 在接收到的病理图像中构建细胞图， 该细胞图包 含有细胞 结构信息； 将所述细胞图输入经过训练的病理图像处理模型， 获得融合特征为HO， 用于预测基因标 记物的表达 。 2.根据权利要求1所述的病理图像处理方法， 其特征在于， 所述构建细胞图的方法， 包 括， 利用一个预训练 的细胞核分割 模型从病理图像中分割出细胞核区域， 每一个分割出的 细胞核区域构成了细胞图的一个节点， 记做vj， 其中， 下标j是对一张病理图像中细胞核的 一个编号； 根据细胞核区域重心之间的距离计算图节点之间边的权重， 图中任意两个节点vj和vi 之间的边的权 重wij的计算公式(1)如下： 其中， d(vi,vj)代表了细胞核vj和vi重心之间的2维欧几里得距离， dc代表临界距离， 决 定了最大的细胞距离作用范围， 由具体的数据集和病理图像的放大倍 率决定， 当细胞核重心间的距离小于dc， 则权重wij为 否则权重wij为0， 即这两个节 点之间 没有链接的边。 3.根据权利要求1所述的病理图像处理方法， 其特征在于， 病理图像处理模型融合了图 卷积神经网络GN N模型和卷积神经网络 CNN模型， GNN模型用于从所述细胞图中提取低维度特 征HG， CNN模型用于从所述病理图像中提取图像层面的低维度特 征HI， 特征HG和HI经过一个融合层的拼接后得到融合特 征为HO。 4.根据权利要求3所述的病理图像处理方法， 其特征在于， 所述融合层基于MLP融合策 略， 采用多个MLP单 元MLPBlock的迭代， 得到融合特 征HO的表达， HO＝MLPBlock(...(MLPBlock(HC)))     (2) 其中， HC为HG和HI链接后的特 征， 即HC＝concat[HI,HG]， concat为链接操作， MLPBlock的表达如下， MLPBlock(H)＝Dropout(ReLU(L inear(H)))      (3) 其中， Line ar是一个可学习的线性层， ReLU为ReLU激 活函数， Drop out为Drop out正则化 层。 5.根据权利要求3所述的病理图像处理方法， 其特征在于， 所述融合层基于 Transformer融合策略， 其基于Transformer的融合策略表达如下， HO＝Pooling(TransBl ock(…(TransBl ock(HC))))     (4) 其中， HC为HG和HI链接后的特征， 即HC＝concat[HI,HG]， concat为链接操作， Pooling为 池化层， TransBl ock是transformer的基本单位， 表达如下： TransBlock(H)＝ResidualPreN orm(MLPBl ock,ResidualPreN orm(MHSA,H))    (5) MHSA是多头的自注意力机制层(Multi ‑headed self‑attention)， ResidualPreNorm是权　利　要　求　书 1/2 页 2 CN 115294157 A 2残差预先Layer Norm层， 即Layer  Norm层放置 于之前。 6.一种病理图像处理模型， 其特征在于， 该病理图像处理模型融合了图卷积神经网络 GNN模型和卷积神经网络 CNN模型， GNN模型用于从病理图像的细胞图中提取低维度特 征HG， CNN模型用于从病理图像中提取图像层面的低维度特 征HI， 特征HG和HI经过一个融合层的拼接后得到融合特 征为HO。 7.一种病理图像处 理设备， 其特 征在于， 所述设备包括存 储器； 以及 耦合到所述存储器的处理器， 该处理器被配置为执行存储在所述存储器中的指令， 所 述处理器执行以下操作： 在接收到的病理图像中构建细胞图， 该细胞图包 含有细胞 结构信息； 将所述细胞图输入经过训练的病理图像处理模型， 获得融合特征为HO用于预测 基因标 记物的表达 。 8.一种存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时， 实现 如权利要求1至 5中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115294157 A 3