(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513470.2 (22)申请日 2022.05.11 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 申请人 粤港澳大湾区精准医学研究院 （广 州） (72)发明人 耿道颖　周锟　于泽宽　朴思蓉　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) (54)发明名称 基于深度学习的阿尔茨海默 分类系统 (57)摘要 本发明提供了一种基于深度学习的阿尔茨 海默分类系统， 包括： 模块M1： 获取AD多模态数据 并进行预处理， 得到预处理后的AD多模态数据； 模块M2： 将预处理后的AD多模态数据按照预设比 例分为训练集及测试集； 模块M3： 构建联合网络 模型， 包括MAM  U‑net分割网络和T ‑DenseNet分 类网络； 模块M4： 利用训练集训练联合模型直至 损失函数收敛， 得到训练后的联合模型； 模块M5： 利用测试集通过训练后的联合模 型进行预测， 并 根据预测结果和预设标注信息计算准确率， 如果 准确率未达到 预设要求， 则重复触发模块M4至模 块M5直至准确率达 到预设要求。 权利要求书3页 说明书10页 附图1页 CN 114937171 A 2022.08.23 CN 114937171 A 1.一种基于深度学习的阿尔茨海默 分类系统， 其特 征在于， 包括： 模块M1： 获取AD多模态数据并进行 预处理， 得到预处 理后的AD多模态数据； 模块M2： 将预处 理后的AD多模态数据按照预设比例分为训练集及测试集； 模块M3： 构建联合网络模型， 包括MAM  U‑net分割网络和T ‑DenseNet分类网络； 模块M4： 利用训练集训练联合模型直至损失函数收敛， 得到训练后的联合模型； 模块M5： 利用测试集通过训练后的联合模型进行预测， 并根据预测结果和预设标注信 息计算准确率， 如果准确率未达到预设要求， 则重复触发模块M4至模块M5直至准确率达到 预设要求； 所述MAM U‑net分割网络是基于 MAM注意力机制模块完成海马体区域分割任务； 所述T‑DenseNet分类网络是基于Dense模块完成高级别语义特 征提取任务； 所述联合模型是基于MAM  U‑net分割网络、 T ‑DenseNet分类网络、 concate层以及全连 接层， 根据将预处 理后的AD多模态数据对阿尔兹海默进行分类。 2.根据权利要求1所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述模块 M1采用： 对获取的AD多模态数据进 行预处理， 得到统一标准AD多模态数据集； 对得到的统一 标准AD多模态数据集标注海马体区域。 3.根据权利要求1所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述MAM   U‑net分割网络包括： 压缩特 征图模块和将压缩特 征图解压缩 模块； 所述压缩特征图模块包括卷积层、 MAM模块、 下采样、 MAM模块、 下采样以及ResNet模块； 将T1WI和PET图像构成的双通道 三维特征图I0经过卷积层得到弱语义特征I1； 弱语义特征I1 输入至MAM模块 得到包含通道和空 间信息的特征图I2； 将特征图I2经过下采样处理得到特征 图I3； 将特征图I3输入至MAM模块得到特征图I4； 将特征图I4经过下采样处理得到特征图I5； 最后将特 征图I5输入至ResNet模块中得到较高级别的语义特 征I6； 所述将压缩特征图解压模块包括ResNet模块、 上采样、 MAM模块、 上采样、 MAM模块以及 卷积层； 将较高级别的语义特征I6输入到ResNet模块中得到特征图I7， 特征图I7经过上采样 操作得到特征图I8， 特征图I8与特征图I4进行矩阵相加操作后输入到MAM模块中得到特征图 I9， 将特征图I9经过上采样处理得到特征图I10， 特征图I10与特征图I2再次进行矩阵相加操 作后输入到MAM模块得到特征图I11， 最后将特征图I11经过卷积操作获得分割结果 ResultSeg。 4.根据权利要求3所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述MAM 模块包括空间注意力机制以及通道 注意力机制； 所述空间注意力机制为通过两个池化操作聚合特征映射的通道信息生成两个二维映 射： 和 分别表示通道中的平均池特征和最大池特征； 然后通 过卷积层将它们连接并卷积， 生成空间特征 图； 其中， 表示矩阵， 矩阵的大小为C/r ×1× 1； C表示通道的数量； r 表示缩减率； W和H分别表示特 征图的宽和高； 所述通道注意力机制将输入的特征图经过最大池化和平均池化操作分别生成最大池 特征和平均池特 征， 接着将最大池特 征和平均池特 征输入共享网络生成通道特 征图； 所述共享网络包括多层感知机MLP和隐藏层， 对输入的最大池特征和平均池特征进行 融合， 得到一个相同大小的通道特 征图；权　利　要　求　书 1/3 页 2 CN 114937171 A 2将得到的通道特 征图和空间特 征图经过权重计算得到 MAM模块输出的特 征图； 其中， ω表示权 重。 5.根据权利要求4所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述空间 特征图采用： 其中， σ 表示sigmoid激活函数； f7×7表示大小为7 ×7的卷积运算； F表示输入的特征图； AvgPool和MaxPo ol分别表示平均池化操作和最大池化操作。 6.根据权利要求4所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述通道 特征图采用： 其中， 7.根据权利要求1所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述T ‑ DenseNet分类网络包括： 卷积层、 密集模块以及过渡层； 所述密集模块通过短连接获取上一层密集模块的特征图； 每两个密集模块之间插入一 个过渡层 缩减特征图的数量； 所述过渡层 包括批处理标准化操作、 卷积操作以及Dr opout操 作； 将分割结果ResultSeg通过卷积层提取高分辨率的弱语义特征f0， 并将获得的弱语义特 征f0依次通过密集模块和过渡层提取高级语义特征f1， 将高级语义特征f1输入到密集模块 ‑ 过渡层中获得语 义特征f2， 最后将语义 特征f2再输入到密集模块 ‑过渡层中获得较高级别的 语义特征FeatureCla。 8.根据权利要求1所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述联合 模型包括： MAM  U‑net分割网络、 T ‑DenseNet分类网络、 co ncate层以及全连接层； 预处理后的AD多模态数据通过MAM  U‑net分割网络得到特征图FeatureSeg和分割结果 ResultSeg； FeatureSeg通过T‑DenseNet分类网络得到较高级别的语义特征FeatureCla； 将特 征图FeatureSeg和较高级别的语义特征FeatureCla依次通过concate层以及全 连接层进行分 类得到一维向量Fres＝{r1,r2,…rt},t＝(0,1,2, …N)， 其中N表示训练集的切片数量； rt的 值为0或1； 其中， 1表示患有AD， 0表示 健康； 所述特征图FeatureSeg是将每次上采样输出的特 征图进行co ncate操作获得的。 9.根据权利要求1所述的基于深度学习的阿尔茨海默分类系统， 其特征在于， 所述损失 函数采用： 所述MAM U‑net分割网络采用Dice损失函数： 权　利　要　求　书 2/3 页 3 CN 114937171 A 3