[发明专利]基于transformer的医学图像配准方法及系统

说明书

本发明提供一种基于transformer的医学图像配准方法及系统，包括：步骤S1：获取医学图像对，包括浮动图像和固定图像，并进行预处理；步骤S2：将预处理后的浮动图像通过三个阶段的下采样，生成特征图；步骤S3：构建transformer网络模型，将每阶段下采样生成的特征图展开为一维向量，加入位置嵌入向量送入transformer编码器模块；步骤S4：固定图像按照步骤S2和步骤S3，生成向量，送入transformer结构解码器模块；步骤S5：对transformer网络模型输出的向量进行上采样特征融合，生成形变场；步骤S6：根据生成的形变场对待配准医学图像进行配准。本发明能够提升图像局部信息和全局信息的联系，从而提升无监督学习下图像配准的效果。

技术领域

本发明涉及医学图像配准技术领域，具体地，涉及一种基于transformer的医学图像配准方法及系统。

背景技术

随着医学成像设备的发展，不仅能够采集含有准确解剖信息的图像例,也可以采集到含有功能信息的图像，而观察这些模态的图像则需凭借空间想象和主观经验。通过使用图像配准方法则可以将多模态的信息融合到同一图像中，使医生更准确地从各个角度观察病灶和结果。同时，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官变化，使得医疗诊断、制定手术计划、放疗计划更准确和可靠。

目前，基于深度学习的配准方法大多采用深度卷积神经网络生成图像变形场。Shan等采用全卷积网络输入待配准的整幅图片，输出全局变形场，克服了图像块的局限性。Ferrante等基于U-Net结构研究高效的配准网络。Li等和Jiang等通过计算多尺度下形变图像和参考图像的相似性，来指导配准网络的训练。而这些方法为了获取图像全局的形变，则是堆叠足够深的卷积层覆盖到图像的全局区域。在这个过程中，网络的有效感受野具有有限性，严重制约模型全局建模的能力，同时不断的下采样操作也使得图像的细节信息丢失。随着transformer运用到计算机视觉领域中，它从不同维度来建立长距离的依赖关系从而捕获全局的上下文信息，在保证效率的同时提升了全局建模的能力，对全局形变也更加敏感。

公开号为CN105765626B的发明专利，公开了一种医学图像的配准，包括：接收利用医学2D成像设备在第一观察方向下采集的2D X射线图像；对所述2D X射线图像进行滤波，使得所述2D X射线图像的高频分量相对于所述2D X射线图像的低频分量被加强；接收利用医学3D成像设备采集的3D图像；根据所述3D图像生成2D投影图像，其中，所述2D投影图像以第二观察方向来生成；将经滤波的2D X射线图像与所述2D投影图像叠加；提供用于改变所述第二观察方向的功能，使得所述2D投影图像与所述经滤波的2D X射线图像配准。

发明内容

针对现有技术中的缺陷，本发明提供一种基于transformer的医学图像配准方法及系统。

根据本发明提供的一种基于transformer的医学图像配准方法及系统，所述方案如下：

第一方面，提供了一种基于transformer的医学图像配准方法，所述方法包括：

步骤S1：获取医学图像对，包括浮动图像和固定图像，并对浮动图像和固定图像进行预处理，得到预处理后的浮动图像和预处理后的固定图像；

步骤S2：将预处理后的浮动图像通过三个阶段的下采样，生成三种不同尺度和分辨率的特征图；

步骤S3：构建transformer网络模型，包括编码器模块和解码器模块，将每阶段下采样生成的特征图展开为一维向量，加入位置嵌入向量送入transformer编码器模块；

步骤S4：预处理后的固定图像按照步骤S2和步骤S3，生成向量，送入transformer结构解码器模块；

步骤S5：对transformer网络模型输出的向量进行上采样特征融合，生成形变场；

步骤S6：根据生成的形变场对待配准医学图像进行配准。