(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210906947.3 (22)申请日 2022.07.29 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 朱伟芳　谭晓　陈新建　孟庆权　 聂宝清　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 苏张林 (51)Int.Cl. G06T 7/11(2017.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/77(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 动态聚合变换器网络及视网膜血管分割方 法 (57)摘要 本发明涉及一种动态聚合变换器网络及视 网膜血管分割方法， 动态聚合变换器网络包括动 态聚合变换器编码器模块、 组卷积嵌入模块和轻 量级卷积解码器模块， 原始图像初始化后输入动 态聚合变换器编码器模块， 使用动态聚合法和多 头动态聚合注 意力得到语义标记， 组卷积嵌入模 块根据语义标记得到多尺度特征图； 轻量级卷积 解码器模块对多尺度特征图进行特征分辨率的 恢复得到分割结果； 视网膜血管分割方法为将光 学相干断层扫描血管造影图像输入训练完成的 动态聚合变换器网络中， 得到视网膜血管分割结 果。 本发明可 以减少视觉变换器的计算量、 解决 卷积神经网络局部感觉野受限的问题、 减少网络 参数量、 有效提升血 管分割性能。 权利要求书2页 说明书13页 附图4页 CN 115272369 A 2022.11.01 CN 115272369 A 1.一种动态聚合变换器网络， 其特 征在于： 所述动态聚合变换器网络包括动态聚合变换器编码器模块、 组卷积 嵌入模块和轻量级 卷积解码器模块， 原始图像初始化后输入所述动态聚合变换器编码器模块， 所述动态聚合变换器编码器 模块和所述组卷积嵌入 模块使用动态聚合法和多头动态聚合注意力得到多尺度特 征图； 所述轻量级卷积解码器模块对所述多尺度特征图进行特征分辨率的恢复得到解码特 征图， 根据解码特 征图得到分割结果。 2.根据权利要求1所述的动态聚合变换器网络， 其特征在于： 所述动态聚合变换器编码 器模块包括至少一个动态聚合变换器编 码器， 所述组卷积嵌入模块包括至少一个组卷积特 征嵌入块； 初始化后的原始图像交替经过所述动态聚合变换器编码器和组卷积特征嵌入块得到 所述多尺度特 征图。 3.根据权利要求2所述的动态聚合变换器网络， 其特征在于： 所述动态聚合变换器编码 器包括动态聚合变换器支路和辅助卷积支路， 所述动态聚合变换器支路使用动态聚合法将所述动态聚合变换器编码器的输入特征 转化为聚合特征， 使用多头动态聚合注意力从所述聚合特征中提取特征得到所述动态聚合 变换器支路的输出； 所述辅助 卷积支路辅助 所述动态聚合变换器编码器收敛， 根据 所述动态聚合变换器支 路的输出和所述辅助卷积支路的输出 得到所述动态聚合变换器编码器的输出。 4.根据权利要求3所述的动态聚合变换器网络， 其特 征在于： 所述动态聚合法， 具体为： 步骤1： 使用嵌入特征初始化单元初始化乘上可学习矩阵后的输入特征Ts得到初始聚 合特征Tsag； 步骤2： 计算Tsag和Ts间的余弦距离Distance(Tsag， Ts)＝cos(Tsag， TsT)； 步骤3： 将所述余弦距离Distance(Tsag， Ts)送入softmax层， 计算得到离散概率图 Distance(Tsag， Ts)′＝softma x(cos(Tsag， TsT))； 步骤4： 更新聚合特 征Tsag＝Distance(Tsag， Ts)′TsT， ()T表示向量或矩阵的转置； 步骤5： 重复步骤2 ‑步骤5T次， 得到最终的聚合特 征Tsag。 5.根据权利要求3所述的动态聚合变换器网络， 其特征在于： 所述动态聚合变换器支路 使用动态聚合法将所述动态聚合变换器编 码器的输入特征转化为聚合特征， 使用多头动态 聚合注意力从所述聚合特 征中提取 特征得到所述动态聚合变换器支路的输出， 具体为： S1： 将动态聚合变换器编码器的输入特征Fs乘上三个不同的可学习矩阵分别得到查询 向量Q′、 键向量K ′和值向量V ′； S2： 使用所述动态聚合法将所述Q ′转换为聚合特征Q， 使用所述动态聚合法将所述K ′转 换为聚合特 征K， 今低秩空间的值向量V＝V ′； S3： 计算多头动态聚合注意力MDTA A(Q， K， V)： MDTAA(Q， K， V)＝Co ncat(headi， ...， headn)WO， 其中， Conc at()表示按通道方向的拼接操作， WO表示可学习向量； headi表示第i个单头 动态聚合注意力， softmax()表示softmax函权　利　要　求　书 1/2 页 2 CN 115272369 A 2数， DA()表示进行 所述动态聚合法操作， dk是低秩空间的键向量K的通道维度； S4： 将所述多头动态聚合注意力MDTAA(Q， K， V)依次输入线性变换层与层归一化层得到 所述动态聚合变换器支路的输出 Xtrans。 6.根据权利要求5所述的动态聚合变换器网络， 其特征在于： 所述辅助 卷积支路包括两 个组卷积归一化激活层， 每个组卷积归一化激活层包括卷积核为3 ×3的分组卷积、 批归一 化层和ReLU激活函数， 所述动态聚合变换器编 码器的输入 特征输入 所述辅助卷积支路得到 辅助卷积支路的输出 Xconv。 7.根据权利要求6所述的动态聚合变换器网络， 其特征在于： 所述根据 所述动态聚合变 换器支路的输出和所述辅助卷积支路的输出得到所述动态聚合变换器编码器的输出， 具体 为： 动态聚合变换器编码器的输出 Xencoder为： Xencoder＝α·Reshape(Xconv)+Xtrans， 其中， α 为可 学习权重， Reshape()表示特 征重组。 8.根据权利要求2所述的动态聚合变换器网络， 其特征在于： 所述组卷积嵌入块包括嵌 入重组层和分组卷积层， 所述动态聚合变换器编码器的输出经过所述嵌入重组层进行特征 重组后输入所述分组卷积层， 得到所述组卷积嵌入块的输出。 9.根据权利要求1 ‑8任一项所述的动态聚合变换器网络， 其特征在于： 所述轻量级卷积 解码器模块包括至少一个轻量级 卷积解码器块和一个上采样单元， 所述轻量级卷积解码 器 块包括1个轻量级 卷积解码 器， 所述轻量级 卷积解码 器包括卷积核 大小为3×3的卷积层、 批 归一化层和ReLU激活函数； 将输入所述轻量级卷积解码器模块的多尺度特征图表示为 其中Cin表 示输入特 征通道维度， H表示特 征高度， W表示特 征宽度； 所述多尺度特征图依次Fi经过各个所述轻量级卷积解码器块和上采样单元得到 所述解 码特征图 其中Cout表示输出 特征通道维数， σ 表示上采样倍数。 10.一种视网膜血 管分割方法， 其特 征在于， 包括以下步骤： 构建如权利要求1 ‑9任一项所述的动态聚合变换器网络， 训练所述动态聚合变换器网络得到训练完成的动态聚合变换器网络， 将光学相干断层扫描血管造影图像输入所述训练完成的动态聚合变换器网络中进行 分割， 得到 视网膜血 管分割结果。权　利　要　求　书 2/2 页 3 CN 115272369 A 3