(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210515128.6 (22)申请日 2022.05.11 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 申请人 粤港澳大湾区精准医学研究院 （广 州） (72)发明人 戴健　于泽宽　耿道颖　金倞　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06T 7/33(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于transformer的医学图像配准方法及系 统 (57)摘要 本发明提供一种基于transformer的医学图 像配准方法及系统， 包括： 步骤S1： 获取医学图像 对， 包括浮动图像和固定图像， 并进行预处理； 步 骤S2： 将预处理后的浮动图像通过三个阶段的下 采样， 生成特征图； 步骤S3： 构建transformer网 络模型， 将每阶段下采样生 成的特征图展开为一 维向量， 加入位置嵌入向量送入transformer编 码器模块； 步骤S4： 固定图像按照步骤S2和步骤 S3， 生成向量， 送入transformer结构解码器模 块； 步骤S5： 对transformer网络模型输 出的向量 进行上采样特征融合， 生成形变场； 步骤S6： 根据 生成的形变场对待配准医学图像进行配准。 本发 明能够提升图像局部信息和全局信息的联系， 从 而提升无监 督学习下图像 配准的效果。 权利要求书3页 说明书9页 附图3页 CN 115170622 A 2022.10.11 CN 115170622 A 1.一种基于t ransformer的医学图像 配准方法， 其特 征在于， 包括： 步骤S1： 获取医学图像对， 包括浮动图像和固定图像， 并对浮动图像和固定图像进行预 处理， 得到预处 理后的浮动图像和预处 理后的固定图像； 步骤S2： 将预处理后的浮动图像通过三个阶段的下采样， 生成三种不同尺度和分辨率 的特征图； 步骤S3： 构建transformer网络模型， 包括编码器模块和解码器模块， 将每阶段下采样 生成的特 征图展开 为一维向量， 加入位置嵌入向量送入t ransformer编码器模块； 步骤S4： 预处理后的固定图像按照步骤S2和步骤S3， 生成向量， 送入transformer结构 解码器模块； 步骤S5： 对t ransformer网络模型输出的向量进行 上采样特 征融合， 生成形变场； 步骤S6： 根据生成的形变场对待配准医学图像进行配准。 2.根据权利要求1所述的基于transformer的医学图像配准方法， 其特征在于， 所述步 骤S1中对浮动图像和 固定图像进行预处理采用： 将浮动图像和 固定图像设置为相同的尺 寸。 3.根据权利要求1所述的基于transformer的医学图像配准方法， 其特征在于， 所述步 骤S2中的三个阶段的下采样， 每个阶段的下采样由不同个数的3D深度残差模块组成， 浮动 图像xm的高度为H， 宽度 为w， 厚度 为D， 通过第一阶段下采样生成 特征图， C为特征图的通道数， 该阶段的下采样由三个3D残差卷积块组成， 高度和宽度缩小为原尺 寸 的1/4， 厚度减少为原厚度的1/8； 通过第二阶段的下采样生成 特征图， 该阶段的下采样由两个3D残 差卷积块组成， 特 征图的高度和宽度缩小为原 尺寸的1/8， 厚度为原厚度的1/16； 通过第三阶段下采样生成 特征图， 该阶段由两个3D残差卷积块组 成， 特征图尺寸缩小为原 尺寸的1/ 32， 厚度为原厚度的1/ 32； 每次下采样后的特 征图FCNN表示为： 其中， l＝3表示三个阶段的下采样， θ表示每个阶段残差 网络的参数， C表示为下采样后 3D特征图的维数； R表示特 征图维数集 合； xm表示浮动图像。 4.根据权利要求1所述的基于transformer的医学图像配准方法， 其特征在于， 所述步 骤S3包括： 在编码 器模块中， 包括多头自注 意层和前馈神经网络层， 整个编码 器模块搭建了 多个网络块； 解码器 类似于编码器， 只是解码器的一个网络块中多增 加一个多头注意层； 所述特征图展开 为一维向量包括： 对三个维度的位置信息进行编码， 将编码信息和一维向量合并送入多头自注意层； 采 用sin和cos函数对三个维度的位置进行编码， 生成位置嵌入向量； 所述的位置编码的计算公式如下： 权　利　要　求　书 1/3 页 2 CN 115170622 A 2其中， i∈{D,H,W}表示特征图的三个维度， 分别是厚度， 高度以及宽度， 其中 合并PED、 PEH和PEW维度上的位置嵌入向量并展开成一维向量； 特征图展开的 一维向量加上位置向量， 送入多头自注意层。 5.根据权利要求1所述的基于transformer的医学图像配准方法， 其特征在于， 所述步 骤S5包括： Transformer输出的序列划分三个部分， 调整每部分序列的大小对应每阶段特征 图的尺寸， 采用自顶向下融合的策略； 第一序列的特 征图进行两倍的双线性上采样 操作与第二序列的特 征图进行融合； 再将融合后的第 二序列的特征图进行上采样操作生成两倍大小的特征图， 与第 三序列 的特征图进行融合； 最后建立与固定图像大小的3通道输出， 分别对应于图像中各体素点X、 Y、 Z方向的位 移。 6.一种基于t ransformer的医学图像 配准系统， 其特 征在于， 包括： 模块M1： 获取医学图像对， 包括浮动图像和固定图像， 并对浮动图像和固定图像进行预 处理， 得到预处 理后的浮动图像和预处 理后的固定图像； 模块M2： 将预处理后的浮动图像通过三个阶段的下采样， 生成三种不同尺度和分辨率 的特征图； 模块M3： 构建transformer网络模型， 包括编码器模块和解码器模块， 将每阶段下采样 生成的特 征图展开 为一维向量， 加入位置嵌入向量送入t ransformer编码器模块； 模块M4： 预处理后的固定图像按照模块M2和模块M3， 生成向量， 送入transformer结构 解码器模块； 模块M5： 对transformer网络模型输出的向量进行 上采样特 征融合， 生成形变场； 步骤S6： 根据生成的形变场对待配准医学图像进行配准。 7.根据权利要求6所述的基于transformer的医学图像配准系统， 其特征在于， 所述模 块M1中对浮动图像和 固定图像进行预处理采用： 将浮动图像和 固定图像设置为相同的尺 寸。 8.根据权利要求6所述的基于transformer的医学图像配准系统， 其特征在于， 所述模 块M2中的三个阶段的下采样， 每个阶段的下采样由不同个数的3D深度残差模块组成， 浮动 图像xm的高度为H， 宽度为w， 厚度为D， 通过第一阶段下采样生成 特征图， C为特征图的通道数， 该阶段的下采样由三个3D残差卷积块组成， 高度和宽度缩小为原尺 寸 的1/4， 厚度减少为原厚度的1/8； 通过第二阶段的下采样生成 特征图， 该阶段的下采样由两个3D残 差卷积块组成， 特 征图的高度和宽度缩小为原 尺寸的1/8， 厚度为原厚度的1/16； 通过第三阶段下采样生成 特征图， 该阶段由两个3D残差卷积块组 成， 特征图尺寸缩小为原 尺寸的1/ 32， 厚度为原厚度的1/ 32； 每次下采样后的特 征图FCNN表示为： 权　利　要　求　书 2/3 页 3 CN 115170622 A 3