(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111553816.3 (22)申请日 2021.12.17 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 焦竹青　陈思炜　石海峰　张宇涛　 奚正涛　 (74)专利代理 机构 南京天翼专利代理有限责任 公司 321 12 代理人 奚铭　朱戈胜 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/25(2022.01) G06F 17/16(2006.01)G06N 20/00(2019.01) (54)发明名称 一种多模态大脑影 像特征学习方法 (57)摘要 本发明公开了一种多模态大脑影像特征学 习方法， 其步骤包括： 对多模态大脑影像数据分 别进行预处理， 得到特征矩阵； 计算每种模态数 据特征间的相关系数， 得到特征相关矩阵， 进行 线性融合得到特征相关正则化； 对 特征矩阵进行 加权融合， 计算特征相邻节点得到邻接矩阵， 构 建特征图拉普拉斯矩阵， 得到特征结构正则化； 将两种正则化嵌入到引入低秩约束的多任务模 型中， 进行特征学习， 筛选具有良好表征特征向 量； 随后进行线性融合， 使用支持向量机对训练 集进行训练， 利用测试集检验模型分类性能。 本 发明学习多模态大脑影像特征间的潜在关系和 特征局部空间几何结构， 筛选关联特征， 提高特 征学习解释性的同时提高分类性能。 权利要求书3页 说明书6页 附图1页 CN 114298180 A 2022.04.08 CN 114298180 A 1.一种多模态大脑影 像特征学习方法， 其特 征在于， 其 步骤包括： 步骤1： 从样本集中选取同一受试者的结构磁共振成像和正电子发射断层扫描成像， 从 结构磁共振成像中提取大脑感兴趣区域的平均灰质密度作为结构磁共振成像的特征， 从正 电子发射断层扫描成像中提取大脑感兴趣区域的葡萄糖代谢作为正电子发射断层扫描成 像的特征； 步骤2： 分别计算每种模态数据的特征之间的相关系数， 得到对应的特征相关矩阵， 并 进行线性融合得到特 征相关正则化； 步骤3： 对特征矩阵进行加权融合， 计算特征相邻节点得到邻接矩阵， 根据余弦距离方 法， 构建特 征图拉普拉斯矩阵， 得到特 征结构正则化； 步骤4： 将特征相关正则化和特征结构正则化嵌入到引入低秩约束的多任务模型中， 进 行特征学习， 得到特 征学习模型； 步骤5： 通过特征学习模型筛选特征向量， 对多模态数据提取到的特征进行线性融合， 得到融合后的特 征矩阵； 步骤6： 将样本集融合后的特征矩阵划分为测试集和训练集， 使用训练集对支持向量机 进行训练并生成模型， 利用测试集检验模型分类性能； 采用训练好的模型分类得到特征向 量。 2.根据权利要求1所述的多模态大脑影像特征学习方法， 其特征在于： 所述步骤1具体 为： 步骤1.1： 从结构磁共振成像提取中平均灰质密度： 采用标准脑模板对结构磁共振成像 的原始图像进行空间标准化， 将每张原始图像同一区域与模板区域一一对应， 随后将图像 分割为灰质、 白质和脑脊液三种脑组织结构； 最后使用大脑分区模版提取感兴趣区域平均 灰质密度作为结构磁共 振成像特 征； 步骤1.2： 从正电子发射断层扫描成像 中提取平均葡萄糖代谢： 对正电子发射断层扫描 成像的原始图像进行头动矫正， 配准到标准脑模板进行标准化和平滑操作， 最后使用大脑 分区模板提取脑区平均葡萄糖代谢作为 正电子发射断层扫描成像特 征。 3.根据权利要求1所述的多模态大脑影像特征学习方法， 其特征在于： 所述步骤2具体 为： 分别计算每种模态数据特征之间的相关系数， 定义矩阵 记录第 i种模态的相关系数矩阵， 其中p表示特征数； 通过线性融合得到特征相关正则化， 其计算 公 式为： 式中， tr(·)表示矩阵的迹范数， 表示线性融合后的相关矩阵， 其中m表示模态个 数， 则表示特 征权重矩阵。 4.根据权利要求1所述的多模态大脑影像特征学习方法， 其特征在于： 所述步骤3具体 为： 步骤3.1： 对特征矩阵进行加权融合， 具体为： 将结构磁共振成像的特征矩阵X1和正电子权　利　要　求　书 1/3 页 2 CN 114298180 A 2发射断层扫描成像的特征矩阵X2分别进行标准化， 随后进行加权融合， 得到融合特征矩阵 XF， 其加权融合公式为： XF＝ δ1X1+δ2X2          (2) 式中， X1和X2为特征矩阵， δ1和 δ2为加权融合系数； 步骤3.2： 根据融合后的特征矩阵XF， 计算特征相邻节点， 随后使用余弦距 离法构建邻接 矩阵H， 其计算方法为： 式中， hij用来度量特征矩阵X中第i列特征向量与第j列特征向量之间的相似性， X·i和 X·j分别表示特 征矩阵X中第i列和第j列的特 征向量； 步骤3.3： 根据步骤3.2计算得到的邻接矩阵H， 计算度矩阵S， 进一步构造基于加权融合 的拉普拉斯矩阵LF， 其计算方法如公式(4)所示： LF＝S‑H       (4) 式中， 是度矩阵， 并且是一个对角矩阵， 主对角线元素为邻接矩阵中每个特征 的度； 步骤3.4： 通过得到的拉普拉斯矩阵LF， 进一步得到保持特征的局部空间几何结构的特 征结构正则化， 其计算公式如公式(5)所示： tr(WTLFW)         (5) 式中， 为特征权重矩阵， t r(·)表示矩阵的迹范 数。 5.根据权利要求1所述的多模态大脑影像特征学习方法， 其特征在于： 所述步骤4具体 为： 使用迹范数近似低秩约束， 在多任务学习模型基础上引入迹范数， 并引入特征相关正 则化以及特征结构正则化， 得到一种基于特征相关与特征结构融合的多模态大脑影像特征 学习模型： 式中， Yi表示第i种模态的标签， Xi为第i种模态的特征矩阵， wi中每行元素表示第i种模 态下对应的特 征权重值， α 、 β 、 γ为 正则化参数且均为大于零的实数。 6.根据权利要求5所述的多模态大脑影像特征学习方法， 其特征在于： 所述步骤5具体 为： 步骤5.1： 通过特征学习模型， 对多模态大脑影像的特征权重进行学习， 得到特征权重 矩阵W， 根据权 重矩阵对特 征进行筛 选； 步骤5.2： 将筛选之后的两种模态大脑影像的特征进行线性融合， 即将多个特征矩阵拼 接在一起， 得到融合后的特 征矩阵。 7.根据权利要求1所述的多模态大脑影像特征学习方法， 其特征在于： 所述步骤6具体 为： 对融合后的特征矩阵进行测试集和训练集划分， 使用线性支持向量机进行模型训练，权　利　要　求　书 2/3 页 3 CN 114298180 A 3