(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210993999.9 (22)申请日 2022.08.18 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 余成进　宁高宁　刘华锋　 (74)专利代理 机构 杭州中成专利事务所有限公 司 33212 专利代理师 李亦慈　唐银益 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种用于识别心肌梗死的相对运动学习方 法及装置 (57)摘要 本发明公开了一种用于识别心肌梗死的相 对运动学习方法及装置， 提供了一种用于识别心 肌梗死的相对运动学习方法及装置， 通过U ‑Net 模型分割心肌内膜与心肌外膜， 对心肌进行运动 特征和灰度特征信息的提取， 以ResMLP网络为核 心搭建神经网络， 识别基于电影图像的心肌梗 死 区域， 本发明以外膜中心为原点， 10度的角度间 隔做射线， 得到其与心肌内膜和外膜交点， 之后 进行内外膜中心点周围81个像素的像素特征的 提取， 本方法的分割充分考虑到了心肌不同厚度 处梗死情况的差异， 使输出结果更具有代表性。 另一方面， 本方法只需提取灰度信息特征而无需 计算较为复杂的距离特征， 在数据预处理方面更 为简单、 迅速 。 权利要求书2页 说明书8页 附图3页 CN 115439419 A 2022.12.06 CN 115439419 A 1.一种用于识别心肌梗死的相对运动学习方法， 其特 征在于， 包括： 获得心脏核磁共振电影序列， 通过U ‑Net模型分割心脏核磁共振成像(CMRI)电影序列 中每一帧的心肌内膜与心肌 外膜； 将分割好的每一帧的心肌内膜与心肌外膜二值化， 得到心肌边界， 提取每一帧的像素 特征， 将其拼接融合， 存 入36×81的二维特 征矩阵中； 标注二维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死 区域， 转化成36 ×1的 向量作为心肌梗死区域标签； 基于获得的二维特征矩阵和对应的心肌梗死 区域标签， 构 建以ResMLP为核心的神经网 络模型， 所述的以ResMLP为核心的神经网络模型包括ResMLP层、 池化层、 全连接层； 以ResMLP为核心的神经网络模型中训练时， 将模型输出的36 ×1的向量与真实心肌梗 死区域标签进行对比， 并使用二元交叉熵 “BCEloss”作为损失函数； 使用“Adam”优化器对网络进行迭代训练， 优化网络参数， 当训练结束时， 在测试集上检 测精度， 保存准确率 最高的模型。 2.根据权利要求1所述的用于识别心肌梗死的相对运动学习方法， 其特征在于， 所述的 提取每一帧的像素 特征具体为： 提取外膜边界的中点为整张图的中心点， 以10度的角度间隔从中心点向外做射线， 取 其与内膜和外膜边界的交点， 得到36个方向的内外膜交点坐标， 取每一方向上内外膜交点 的中点O， 将以点O为中心的周围任意大小的像素块的像素矩阵取出， 作为该处心肌的形态 学特征。 3.根据权利要求1所述的用于识别心肌梗死的相对运动学习方法， 其特征在于， 所述的 拼接融合为将心肌像素特征展开 成一维向量， 得到1 ×81的像素特征向量， 对36个角度提取 到的特征信息做相同处理， 拼接之后归一化， 形成特征矩阵， 所述的特征矩阵的行数36行 (36个角度)， 列数为81列， 所以特 征矩阵的大小为3 6×81。 4.根据权利要求1所述的用于识别心肌梗死的相对运动学习方法， 其特征在于， 所述的 标注二维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死区域， 转化成36 ×1的向量 作为心肌梗死区域标签具体为： 标签是根据延迟增强(LGE)图片分类的， 同样以外膜中心点 为中心， 在医生的指导下标记对应的36个图像块是否有心肌梗死， 无梗死标记为0， 有梗死 标记为1， 大小为3 6×1。 5.根据权利要求1所述的根据权利要求1所述的用于识别心肌梗死的相对运动学习方 法， 其特征在于， 所述的以ResMLP为核心的神经网络模 型的输入是之前提取的特征矩阵， 模 型的输出为3 6×1的向量。 6.根据权利要求1或2或3或4或5所述的用于识别心肌梗死的相对运动学习方法， 其特 征在于， 所述的ResMLP层对单帧图片的特征矩阵1@36 ×81进行计算， 并提取单帧图片中心 肌所分成的36个图像块的块内信息和块间关系， 得到每一个图像块的像素特征， 并存储在 输出的矩阵1@3 6×81中， 最终得ResMLP输出矩阵20@3 6×81。 7.根据权利要求6所述的用于识别心肌梗死的相对运动学习方法， 其特征在于， 所述的 池化层采用平均池化法或空间金字塔池化或中心池化， 用于融合一个时间序列 的像素特 征； 所述的全连接层包括任意层数的Linear层， 最终输出得到36 ×1的特征向量， 用于将每 一个图像块的特 征矩阵映射到样本标记空间。权　利　要　求　书 1/2 页 2 CN 115439419 A 28.根据权利要求7所述的用于识别心肌梗死的相对运动学习方法， 其特征在于， 所述的 平均池化法为对ResMLP输出矩阵20@36 ×81进行平均池化， 融合20帧图片的心肌像素特征， 得到1@36×81的特征矩阵， 再通过降维得到的3 6×81的二维特 征矩阵。 9.根据权利要求7所述的用于识别心肌梗死的相对运动学习方法， 其特征在于， 所述的 全连接层包括两层递减的Linear层， 第一层Linear将特征矩阵由36 ×81降至36 ×49， 第二 层Linear进一 步将特征矩阵化 为36×1的特征向量。 10.一种用于识别心肌梗死的相对运动学习方法的装置， 其特 征在于， 包括： 分割单元： 用于获得心脏核磁共振电影序列， 通过U ‑Net模型分割心脏核磁共振成像 (CMRI)电影序列中每一帧的心肌内膜与心肌 外膜； 提取特征单元： 将分割好的每一帧的心肌内膜与心肌外膜二值化， 得到心肌边界， 提取 每一帧的像素 特征， 将其拼接融合， 存 入36×81的二维特 征矩阵中； 标签单元： 标注二维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死区域， 转化 成36×1的向量作为心肌梗死区域标签； 构建神经网络模型单元： 基于获得的二维特征矩阵和对应的心肌梗死区域标签， 构建 以ResMLP为核心的神经网络模型， 所述的以ResMLP为核心的神经网络模型包括ResMLP层、 池化层、 全连接层； 训练单元： 以ResMLP为核心的神经网络模型中训练时， 将模型输出的36 ×1的向量与真 实心肌梗死区域标签进行对比， 并使用二元交叉熵 “BCEloss”作为损失函数； 优化单元： 使 用“Adam”优化器对网络进行迭代训练， 优化网络参数， 当训练结束时， 在测试集上检测精 度， 保存准确率 最高的模型。权　利　要　求　书 2/2 页 3 CN 115439419 A 3