(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210390708.7 (22)申请日 2022.04.14 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 高婧婧　王正宁　彭大伟　吴岳潼　 商勇彬　徐宇航　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 曾磊 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图神经网络和自注意力的磁共振影像 辅助处理系统 (57)摘要 本发明公开了一种基于图神经网络和自注 意力的磁共振影像辅助处理系统， 包括依次连接 的MRI数据预处理模块和若干个基于自注 意力的 长短距离特征融合图神经网络SALS ‑GNN， 每个 SALS‑GNN包括依次连接的自注意力特征提取模 块和特征融合模块， 每一个自注 意力特征提取模 块由多个并联的基于多头自注意力的不同距离 的特征提取子网络SA组成。 本发明通过把大脑的 网络图结构纳入考量范围， 并以此构建相应的数 据和模型； 通过优化设计图神经网络模型， 基于 自注意力机制， 综合考虑脑网络结构的长短距离 依赖， 提取大脑的全局和局部特征， 并进行特征 融合， 显著提高了神经网络的特征提取能力和分 类性能。 权利要求书3页 说明书9页 附图2页 CN 114743053 A 2022.07.12 CN 114743053 A 1.一种基于 图神经网络和自注意力的磁共振影像辅助处理系统， 其特征在于， 该系统 包括依次连接的MRI数据预处理模块和L个相同的基于自注意力的长短距离特征融合图神 经网络SALS ‑GNN， 其中L为大于或等于1的整数； 与MRI数据预处理模块直接相连的SALS ‑GNN 称为第1个SALS ‑GNN， 后续依次表示为第2个、 第3个、 直至第L个SALS ‑GNN， 其中， 每个基于自 注意力的长 短距离特征融合图神经网络SA LS‑GNN包括依次连接的1个自注 意力特征提取模 块和1个特征融合模块， 第l个SALS ‑GNN的自注意力特征提取模块与第l ‑1个SALS‑GNN的特 征融合模块相连， l＝2,3,...,L； 每一个自注 意力特征提取模块由M个并联的基于多头自注 意力的不同距离的特征提取子网络SA组成， 每个特征提取子网络SA由H头自注意力模型构 成； L个SALS ‑GNN的自注意力特征提取模块结构相同、 但模型参数不同， 并且L个SALS ‑GNN的 特征融合模块结构相同、 但模型参数不同； 所有H 头自注意力模型 结构和参数均相同； 所述MRI数据预处理模块， 输入核磁共振成像仪采集的MRI影像， 并将采集的MRI影像预 处理后， 输出 大脑图结构数据， 具体包括： S11)通过核磁共振成像仪采集大脑的MRI影像， 使用标准脑模板对采集的每一幅大脑 的MRI影像进行脑区划分； S12)将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝ (N,E,F0)， 其中G0为有向图， N 为节点集合， E为边集合， F0为节点特 征集合； 对于SALS ‑GNN中的自注意力特征提取模块， 除第1个SALS ‑GNN以外的任意一个SALS ‑ GNN中的自注 意力特征提取模块， 输入为上一个SALS ‑GNN中特征融合模块的输出图数据， 对 于第1个SA LS‑GNN中的自注 意力特征提取模块， 输入为MRI数据预处理模块得到的原始图数 据G0， 各SALS‑GNN用于获取大脑脑区间的长短距离依赖， 对脑区进行不同距离的特征提取， 输出不同距离的大脑特 征， 这L个SALS‑GNN的工作过程具体为： S21)将原始图数据G0＝(N,E,F0)输入第1个SALS ‑GNN中的自注意力特征提取模块， 在第 l个SALS‑GNN的自注意力特征提取模块中， 输入数据为第l ‑1个SALS‑GNN的特征融合模块的 输出图数据 Gl‑1＝(N,E,Fl‑1)， 每一个图数据的节点集合N和边集合E都不会被更新， 由图数 据Gl‑1中N个节点特征 构成的特征矩阵 将会被更新， 其中， Rf表示长度为f的向量， f为预处 理参数， n ＝0,1,...,N‑1； S22)图数据Gl‑1＝(N,E,Fl‑1)输入M个并联的基于多头自注意力的不同距离的特征提取 子网络SA， 每个特征提取子网络SA都具有相同的信息传递流程， 以路径长度m表示第 m个特 征提取子网络SA提取 特征的距离， 第m个特 征提取子网络SA被命名为SA ‑m， m＝1,2,. ..,M； S23)任意一个子网络SA ‑m对有向图Gl‑1中的每个节点进行距离为m的特征提取， 对任意 一个节点Nj， j＝0,1,...,N ‑1进行特征提取时， 选择距离d(Ni,Nj)＝m的点集{Ni}的特征， 通 过第l‑1个SALS‑GNN的自注意力特征提取模块中的H头自注意力模型进行聚合， 其中i≠j， i,j＝0,1,. ..,N‑1； S24)在H头自注意力模型的任意第h个抽头中， h＝1,2,...,H， 每个节点的特征 通过公式 (1)的三个线性层获得对应的向量 其中 是三个不同的权重矩阵， 是与之对应的三个不同 的偏置矩阵；权　利　要　求　书 1/3 页 2 CN 114743053 A 2S25)获得所有节点的向量 后， 将S23)得到的距离d(Ni,Nj)＝m的点 集{Ni}， 通过公式(2)的自注意力模型， 聚合得到节点 Nj的特征 其中， epq表示有向图Gl‑1中边NpNq的权重， p,q＝0,1,...,N ‑1， 这里节点Np和Nq是相邻 的， 所以满足d(Np,Nq)＝1； 距离d(Ni,Nj)＝m的路径NiNj间的权重为构成路径NiNj的所有边的 权重的连乘； dK表示 的维度； Softmax( ·)为归一化指数函数； Π表示连乘符号， 上标T 表示向量的转置； Ni∈N{d(Ni,Nj)＝m,i≠j}表示节点Ni到Nj距离为m的所有节点的集合， 且i ≠j； NpNq∈NiNj表示边NpNq是路径NiNj中的一条边； 是一个中间变量； eji表示节点Ni到 Nj的权值； S26)将S25)得到的H个抽头特征 按式(3)进行融合， 得到SA ‑m输出节点Nj的特征 其中Concat(·)表示为矩阵拼接； 对于SALS ‑GNN中的特征融合模块， 输入位于同一个SALS ‑GNN中的自注意力特征提取模 块获得的特 征， 通过融合， 更新大脑 脑区的特 征表达， 输出融合后的特 征， 具体包括： S31)原始图数据G0的节点集合N的特征矩阵为 将M个特征提取 子网络SA分别 得到的特征Fl,m一起输入一个特征融合模块， 通过公式(4)进行特征融合， 得 到第l个SALS ‑GNN的输出特征Fl； Fusion(·)表示特征融合模型； Fl＝Fusion(Fl,1,Fl,2,...,Fl,M)              (4) S32)通过L个自注意力特征提取模块和特征融合模块的级联， 构建深度为L的基于图神 经网络和自注意力的磁共 振影像辅助处 理系统， 基于该系统得到如下 结果： 1)获得L×M×H个注意力图αl,m,h， 注意力图进行可视化得到热力图， 即可视化结果1， 热 力图反映任意网络层l在距离为m进行 特征聚合时， 脑区间的侧重倾向； 2)通过在可视化结果1中同一网络层l， 不同聚合距离m的热力图， 得到特征信息在不同 距离间的传递特性， 获得不同距离的脑区依赖关系；权　利　要　求　书 2/3 页 3 CN 114743053 A 3