(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210577602.8 (22)申请日 2022.05.25 (71)申请人 东华大学 地址 200051 上海市长 宁区延安西路18 82 号 (72)发明人 潘乔　陈德华　王梅　丁可　 (74)专利代理 机构 北京力量专利代理事务所 (特殊普通 合伙) 11504 专利代理师 刘一霖 (51)Int.Cl. A61B 5/00(2006.01) A61B 5/055(2006.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多模态特征融合的阿尔茨海默病多分 类预测系统 (57)摘要 本发明涉及一种基于多模态特征融合的阿 尔茨海默病多分类预测系统， 多模态数据特征预 处理模块， 对阿尔茨海默病 患者的MRI图像数据， 进行配准与颅骨剥离的预处理以及灰质层特征 提取处理， 得到的图像数据与灰质层的指标数据 两类， 进一步得到指标特征数据集， 最后通过多 模态数据的特征提取模块获取预测模型所需的 优质特征子集。 疾病分类预测模块， 提出了一个 用于融合多模态数据的多注意力融合模块。 通过 考虑各模态特征的权重分配， 通过使用自我注意 机制来学习不同模态之间的相关性， 以进行数据 融合。 本发 明充分利用了阿尔茨海默病患者数据 的类型及 使用的质量， 使 得模型更专注于重要特 征， 从而提高了模型的性能。 权利要求书1页 说明书6页 附图2页 CN 114983341 A 2022.09.02 CN 114983341 A 1.一种基于多模态特 征融合的阿尔茨海默病多分类预测系统， 其特 征在于包括： 用于采集阿尔茨海默病患者的图像与指标 数据集的多模态数据特 征预处理模块； 利用多模态特 征融合的阿尔茨海默病疾病分类预测模块。 2.根据权利要求1所述的阿尔茨海默病 多分类预测系统， 其特征在于， 多模态数据 特征 预处理模块， 首先对阿尔茨海默病患者的MRI图像数据， 通过开源 软件Freesurfer进行配准 与颅骨剥离的预处理以及灰质层特征提取处理， 得到的图像数据与灰质层的两类指标数 据； 然后， 组合患者临床指标数据与灰质层指标数据为指标数据； 最后通过多模态数据的特 征提取模块获取 预测模型 所需的优质特 征子集。 3.根据权利要求2所述的阿尔茨海默病 多分类预测系统， 其特征在于， 所述灰质层特征 提取方法， 是通过开源 软件Freesurfer进 行配准与颅骨剥离的预 处理以及 进一步进 行分割 灰质层处理， 通过不同精度的ROI模板统计灰质层 对应的形态学指标数据； 选取患者临床指 标数据中第一次记录的数值进 行缺失值预 处理， 并与图像的形态学指标 组合构成研究所需 的指标特征数据集。 4.根据权利要求2所述的阿尔茨海默病 多分类预测系统， 其特征在于， 所述多模态数据 特征预处理模块包括： 构建了通道注意力网络模块， 将上述预处理的图像数据作为输入训 练提取特征向量， 作为后续融合模型 的图像模态输入数据； 其次构建了一种 特征选择策略 用于筛选高维指标数据， 根据数据的特点通过低方差与高相关滤波来剔除患者特征之 间冗 余的部分， 基于信息增益+沙普利附加 解释的组合模型挑选出相对分类标签高度相关且重 要性高的特 征子集， 作为融合模型的指标模态输入数据。 5.根据权利要求4所述的阿尔茨海默病 多分类预测系统， 其特征在于， 构建通道注意力 网络模块， 通过微调C3D模型学习图像特征， 引入SE模块， 将SE模块加在每一层的卷积池化 层之后继续 微调超参数， 通过训练好的模型获取 学习到的特 征向量。 6.根据权利要求1所述的阿尔茨海默病 多分类预测系统， 其特征在于， 构建一个特征选 择策略， 通过预处理之后得到的指标特征数据集， 从数据本身特点以及数据与预测结果之 间的影响关系提出一种特 征选择策略， 具体步骤如下： 基于低方差滤波与高相关滤波从数据本身出发有效筛除部分冗余的指标 特征； 对滤波方式处理得到的特征子集， 首先从相关性角度通过信 息增益计算每个特征与目 标类别之间的相关性 程度， 然后设置阈值剔除掉 不相关特 征对模型性能的影响； 基于信息增益筛选得到的子集通过SHAP框架获取所有特征相对于目标类别之间的重 要性程度排名， 选择排名靠前的特 征作为融合模型的输入。 7.根据权利要求1所述的阿尔茨海默病 多分类预测系统， 其特征在于， 疾病分类预测模 块包括建立多注意力融合模块， 针对图像与指标数据的差异性， 建立一个用于融合多模态 数据的多注意力融合模块， 将前面图像和指标特征数据集中提取特征向量组作为多注意力 融合模块模块的输入数据， 基于多头注意力模块计算不同模态对应模型 的不同权值； 基于 softmax分类 器进行阿尔茨海默病疾病的分类预测。权　利　要　求　书 1/1 页 2 CN 114983341 A 2基于多模 态特征融合的阿尔茨海默病多分类预测系统 技术领域 [0001]本发明涉及医疗设备技术领域， 特别是涉及一种基于多模态特征融合的阿尔茨海 默病多分类预测系统。 背景技术 [0002]阿尔茨海默病(Alzheimer's  Disease,AD)是一种在老年群体中普遍发生的神经 性疾病， 俗称老年痴呆症， 简称AD， 它与年龄高度相关并且发病过程不可逆。 据最新研究报 告显示， 全球AD患者数量正逐年增长， 预计到2050年患者人数将由2018年的约5000万例增 加到1.52亿。 有研究表明AD患者可能在出现症状之前的二十多年甚至更长的时间节 点内就 已经患病了， 并且在随后的1到6年之中， 大脑的部分区域会出现一些患者无法感知的细微 变化， 随着病情的不断发展， 患者在患病后 期会伴随着不同程度的身体机能的改变与退化， 导致患者逐渐丧 失日常生活的自理能力。 AD疾病的发生显著降低了人们的生活质量以及患 者的预期寿命。 [0003]在临床上， 通常将AD病情的发展分为正常受试者(Cognit ively Normal,CN)、 轻度 认知障碍患者(Mild  Cognitive  Impairment,MCI)与AD患者这3个阶段。 其中， MCI是介于CN 和AD之间的一种中间状态， 这个阶段患者的认知功能会有轻度的衰退,但日常生活能力 没 有受到明显干扰， 同时MCI向AD的年转化率高达10％ ‑15％。 因此， 能够准确区分出患者所 处 的不同阶段， 特别是筛选出MCI阶段的患者， 对于医生通过药物治疗来延缓AD患者病情的发 展起着至关重要的作用。 [0004]神经影像学数据被广泛应用于各类疾病的诊断， 通过对大脑相关区域的成像数据 进行研究分析已经成为相关领域研究的主要方式。 磁共振成像(MRI)是一种无创的成像技 术， 其最大优势在于能够得到较高的空间分辨率， 而图像数据的细节清晰度对于疾病诊断 至关重要， 因此MRI也被广泛应用于AD疾病相关的研究诊断或者用于了解患者大脑的相关 变化。 [0005]在实际的临床诊断过程中， 医生主要是通过结合各项临床指标数据与图像数据进 行综合分析， 然后根据自身的临床经验做出对疾病 结果的诊断。 这些指标数据主要包括神 经心理学评估量表(如简易智力状态检查量表(MMSE)、 临床痴呆评定量表总分(CDRSB)等)、 基因数据、 神经影像学、 生物标志物信息等。 从整个诊断过程可以看出， 医生需要综合分析 多项检查数据才能给出诊断结果。 但是医生对庞大的数据集进 行分析， 存在一定的主观性， 且过程耗时耗力， 例如一个MRI图像数据需要 经过医生的目测估计与测量， 包括关键区域的 体积与面积， 然后通过处理得到的量化数据以及图像变化信息综合分析得到结论， 再结合 繁杂冗余的临床指标数据进行综合分析给出诊断。 随着计算机技术在医学领域的不断发 展， 近年来大量研究利用人工智能技术对AD患者的MRI图像和临床检测指标数据进行建模 分析， 预测AD的疾病类型。 这在一定程度上简化了医生的复杂诊断流程， 医生可以利用这些 技术作为辅助工具帮助分析数据， 以便更快找到患者数据中所隐含的患病信息用作诊断依 据。 这不仅提高了信息的利用率， 还能关注到容易被忽略的细微变化， 提高诊断效率和质说　明　书 1/6 页 3 CN 114983341 A 3