(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211020524.8 (22)申请日 2022.08.24 (71)申请人 北京医智影科技有限公司 地址 100089 北京市海淀区学院路3 0号科 大天工大厦A座5层02、 0 3室 (72)发明人 王少彬　蔡传书　郭飞宝　何清　 柳炫宇　白璐　陈颀　陈宇　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 秦溪 (51)Int.Cl. G06T 7/33(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 图像配准网络模 型及其建立方法、 设备及介 质 (57)摘要 本申请涉及一种图像配准网络模型及其建 立方法、 设备及介质， 其模型包括编码器和解码 器， 所述编码器包括参考图像编码器和移动图像 编码器， 所述参考图像编码器和所述移动图像编 码器相互独立； 解码器包括解码并行交叉注意力 模块， 所述解码并行交叉注意力模块以所述参考 图像编码器、 移动图像编码器不同尺度的编码获 得的输出矢量序列作为输入。 本申请参考图像编 码器、 移动图像编码器网络和解码器网络充分考 虑了图像尺 寸与分辨率的差异， 基于并行交叉注 意力模块进行网络设计， 并融合不同尺度级别的 并行交叉注 意力模块获取的特征信息， 使得不同 尺寸、 不同分辨率的多模态图像可直接进行配 准， 最终完成形变场估计 。 权利要求书5页 说明书15页 附图7页 CN 115359103 A 2022.11.18 CN 115359103 A 1.一种图像配准网络模型， 其特征在于， 包括编码器和解码器， 所述编码器包括用于对 参考图像进行 处理的参考图像编码器和用于对移动图像进 行处理的移动图像编 码器， 所述 参考图像编码器和所述移动图像编码器相互独立； 所述参考图像编码器和 移动图像编码器均包括编码并行交叉注意力模块， 所述编码并 行交叉注意力模块用于对不同尺寸、 不同分辨率的原始图像输入的矢量序列进行计算， 得 到所述编码器的输出矢量序列； 所述解码器包括解码并行交叉注意力模块， 所述解码并行交叉注意力模块以所述参考 图像编码器、 移动图像编码器不同尺度的编码获得 的输出矢量序列作为输入， 并输出不同 模态图像 配准过程中与原 始的参考图像尺寸相同的形变场信息 。 2.一种图像 配准网络模型建立方法， 其特 征在于， 包括： 对不同模态图像的原始图像进行重采样， 得到所述原始图像对应的各向同性3D图像， 所述原始图像包括 参考图像和移动图像； 分别对所述原始图像以及所述各向同性3D图像进行子块划分， 并对划分后得到的子块 进行位置编码； 基于所述位置编码计算所述原始图像对应的原始矢量序列以及所述各向同性3D图像 对应的各向同性矢量序列； 将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力模块， 得到所述编 码器输出的输出矢量序列， 所述输出矢量序列包括所述参考编 码输出矢量序列 和移动编码输出矢量序列， 其中， 所述原始矢量序列作为所述编码并行交叉注意力模块中 查询向量输入， 所述各向 同性矢量序列作为所述编 码并行交叉注意力模块中键向量和值向 量的输入； 将所述输出矢量序列输入解码器的解码并行交叉注意力模块进行解码， 获取所述解码 器的输出的不同模态图像 配准的形变场。 3.根据权利要求2所述的图像 配准网络模型建立方法， 其特 征在于， 所述原始矢量序列均包括一级原始矢量序列， 所述各向同性矢量序列均包括一级各向 同性矢量序列； 所述将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力 模块， 得到所述编码器输出的输出矢量序列包括： 将所述一级原始矢量序列作为一级级别的当前编码并行交叉注意力模块中查询向量 输入， 将所述一级各向 同性矢量序列作为所述当前编 码并行交叉注意力模块中键向量和值 向量的输入， 得到所述当前编码并行交叉注意力模块输出的当前编码矢量序列； 判断所述当前编码并行交叉注意力模块是否为一级级别中的最后编码并行交叉注意 力模块； 若所述当前编码并行交叉注意力模块为最后编码并行交叉注意力模块， 则所述当 前编码矢量序列即为一级编码输出矢量序列， 并获取所述编码器编码阶段的尺度级别总 数， 判断所述 一级级别是否为所述尺度级别总数中的最大级别； 若所述一级级别为所述尺度级别总数中的最大级别， 则所述一级编码输出矢量序列即 为输出矢量序列； 若所述当前编码并行交叉注意力模块非最后注意力模块， 则将所述当前编码矢量序列 作为所述一级级别中下一编 码并行交叉注意力模块的键向量和值向量的输入， 所述下一编权　利　要　求　书 1/5 页 2 CN 115359103 A 2码并行交叉注意力模块的查询向量来源与所述当前编码并行交叉注意力模块的查询向量 来源一致， 且同一级别中编码并行交叉注意力模块的查询向量 来源均一 致； 得到所述下一编码并行交叉注意力模块输出的一级编码矢量序列， 将所述一级编码矢 量序列作为当前编 码矢量序列， 将所述下一编 码并行交叉注意力模块作为当前编 码并行交 叉注意力模块， 并重复判断所述当前编 码并行交叉注意力模块是否为一级级别中的最后编 码并行交叉注意力模块的步骤。 4.根据权利要求3所述的图像 配准网络模型建立方法， 其特 征在于， 若所述一级级别非所述尺度级别总数中的最大级别， 则所述原始矢量序列还均包括其 他级原始矢量序列， 所述各向同性矢量序列还均包括其他级各向同性矢量序列， 所述输出 矢量序列还 包括其他级编码输出矢量； 所述将所述原始矢量序列和各向同性矢量序列输入编码器中的编码并行交叉注意力 模块， 得到所述编码器输出的输出矢量序列还 包括： 分别计算其他级别对应的其他级别 输出矢量序列， 每个所述其他级别均对应有一个其 他级别输出矢量序列， 所述输出矢量序列包括一级输出矢量序列和至少一个所述其他级别 输出矢量序列； 所述分别计算 其他级别对应的其 他级别输出矢量序列包括： 将上一级别中首个编码并行交叉注意力模块首次输入的一组矢量序列分别复原为当 前级编码特 征图； 将所述当前级编码特征图进行stride＝2的3D卷积操作， 得到当前级降采样编码特征 图， 将所述当前级降采样编码特征图各个位置的特征矢量化， 得到当前级别对应的当前级 原始矢量序列和当前级各向同性矢量序列； 将所述当前级原始矢量序列作为所述当前级别的当前编码并行交叉注意力模块中查 询向量输入， 将所述当前级各向 同性矢量序列作为所述当前级别的当前编 码并行交叉注意 力模块中键向量和值向量的输入， 得到所述当前级别的当前编 码并行交叉注意力模块输出 的其他级别当前矢量序列； 判断所述当前级别的当前编码并行交叉注意力模块是否为当前级别最后编码并行交 叉注意力模块； 若所述当前编码并行交叉注意力模块为最后编码并行交叉注意力模块， 则所述其他级 别当前矢量序列即为 其他级别输出矢量序列； 若所述当前编码并行交叉注意力模块非最后编码并行交叉注意力模块， 则将所述其他 级别当前矢量序列作为所述当前级别中下一编码并行交叉注意力模块的键 向量和值向量 的输入， 所述当前级别的下一编码并行交叉注意力模块的查询向量来源与所述当前级别的 当前编码并行交叉注意力模块的查询向量 来源一致； 得到所述当前级别的下一编码并行交叉注意力模块输出的当前级矢量序列， 将所述当 前级矢量序列作为其他级别当前矢量序列， 将所述下一编 码并行交叉注意力模块作为当前 编码并行交叉注意力模块， 并重复判断所述当前级别的当前编 码并行交叉注意力模块是否 为当前级别最后 编码并行交叉注意力模块的步骤。 5.根据权利要求3所述的图像 配准网络模型建立方法， 其特 征在于， 所述参考编码输出矢量序列包括一级参考编码输出矢量序列， 所述移动编码输出矢量权　利　要　求　书 2/5 页 3 CN 115359103 A 3