(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210338626.8 (22)申请日 2022.04.01 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 (72)发明人 吴强　李璇　何泽鲲　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李健康 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/771(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/86(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于混合模型网络的多 模态影像分类方法 (57)摘要 本发明提出了一种混合模型网络的多模态 影像分类方法、 装置和计算机可读存储介质。 通 过对来自于多个不同模态的医学影像进行特征 级融合， 将特征视作节点构建特征图， 通过多级 粗化模块完成特征选择， 并利用混合模型网络对 图结构进行自适应学习， 寻找特征间的潜在联 系， 从而得到更可靠、 更准确的病灶类别属性信 息的方法。 利用B raTS2017数据集进行验证， 与传 统的特征级融合方法相比， 基于混合模 型网络的 多模态影像分类方法具有更好的结果。 权利要求书2页 说明书4页 附图2页 CN 114821157 A 2022.07.29 CN 114821157 A 1.一种基于混合模型网络的多模态影像分类方法， 将所有模态所提特征进行特征图的 构建， 借助Graclus算法进行粗 糙化， 最后基于混合模型网络 完成预测分类， 具体步骤 包括： (一)数据预处 理： 对每个分类对象进行 标签的标记； (二)特征提取： 首先对图像数据进行感兴趣区域提取， 然后以感兴趣区域为掩膜， 对各 模态影像进 行特征提取， 分别得到纹理特征、 强度直方图特征和形状特征， 并对其进 行特征 归一化处理； (三)构建特征图： 将上述单样本所提的每个特征看作为离散节点， 并以节点间的欧氏 距离为基础， 利用K最近邻算法构建初始的特征图结构G0＝(V0,E0)， 其中V0为特征图的节点 集合， 而E0为特征图中所有边的集 合； (四)特征图粗糙化： 将上述所构 建的特征图作 为输入， 基于Graclus多尺度聚类算法进 行多级粗糙化， 首先将划分目标设置为归一化切割， 即节点的初始权重被设置为节点的度 数； 然后对特征图中所有节点进行随机访问， 若访问的节点x未被标记， 且其邻域中所有节 点均已标记， 则对节点x进行标记， 并继续访问下一个节点； 若该节点邻域中有尚未被标记 的节点， 则寻找邻域中未 标记顶点y， 使得 下式最大化： 其中e(x,y)是指节点间的边权重， 而w(x)和w(y)分别指节点x和y的自身权重， 找到最 大化的节点y之后， 将匹配的两个节 点合并为一个新的节点， 新节 点的权重为原始节点权重 之和， 当所有节点遍历完成后， 特 征图的规模可缩小近一 倍， 即完成了一级粗 糙化过程； (五)边权重更新： 利用基于混合模型网络的图卷积核， 对已粗糙化的特征图进行节点 的边权重更新， 首先将节点x放入极坐标中进行表示， 并通过其邻域中的节点x ′创建一个d 维向量的伪坐标u(x,x ′)， 以确定节点x与其邻居x ′之间的相对位置： u(x)＝( ρ(x,x ′), θ(x,x′)) 其中在极坐标中， ρ 表示极径， θ表示极角， 将上述节点间的相对位置关系映射到节点之 间的相对权重， 并通过一组具有可学习参数的高斯核函数w1(u),…,wJ(u)不断进行图结构 上的卷积 操作， 并自适应学习权 重， 最终完成节点的边权 重更新， 该高斯核函数的表示如下 所示： 其中 和 μj分别表示可学习的d ×d和d×1协方差矩阵和高斯核的均值向量， J表示卷 积操作时空间卷积核的维数， exp()代 表e为底的指数函数； (六)全连接网络： 将边权重更新后的特征图借助全局最大池化展成一维向量， 并利用 全连接网络将其映射到样本标记空间， 完成分类的显式表达 。 2.根据权利要求1所述的基于混合模型网络的多模态影像分类方法， 其特征在于： 在模 型的训练中， 需要对多模态数据进行顺序的打乱， 将所有数据平均分成k份， 取其中的一份 作为验证集， 剩下的k ‑1份作为训练集进行k 折交叉验证， 获得最终结果。 3.根据权利要求1所述的基于混合模型网络的多模态影像分类方法， 其特征在于： 进行 步骤(二)的特 征提取时， 针对多模态磁共 振影像， 可将其肿瘤标志部分作为感兴趣区域。权　利　要　求　书 1/2 页 2 CN 114821157 A 24.一种图像处理装置， 该装置包括数据 预处理部件、 存储器和处理器， 其中数据 预处理 部件能够实现权利要求1所述的步骤(一)至步骤(二)； 处理器可用于执行权利要求 1所述的 步骤(三)至步骤(六)； 存储器部 分用于存储权利要求 1所述各步骤中用到的计算机程序、 处 理后的数据、 并且可以存 储最终的训练模型。 5.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于该程序被执行时可 实现权利要求1所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114821157 A 3