[发明专利]基于transformer的医学图像配准方法及系统

权利要求书

1.一种基于transformer的医学图像配准方法，其特征在于，包括：

步骤S1：获取医学图像对，包括浮动图像和固定图像，并对浮动图像和固定图像进行预处理，得到预处理后的浮动图像和预处理后的固定图像；

步骤S2：将预处理后的浮动图像通过三个阶段的下采样，生成三种不同尺度和分辨率的特征图；

步骤S3：构建transformer网络模型，包括编码器模块和解码器模块，将每阶段下采样生成的特征图展开为一维向量，加入位置嵌入向量送入transformer编码器模块；

步骤S4：预处理后的固定图像按照步骤S2和步骤S3，生成向量，送入transformer结构解码器模块；

步骤S5：对transformer网络模型输出的向量进行上采样特征融合，生成形变场；

步骤S6：根据生成的形变场对待配准医学图像进行配准。

2.根据权利要求1所述的基于transformer的医学图像配准方法，其特征在于，所述步骤S1中对浮动图像和固定图像进行预处理采用：将浮动图像和固定图像设置为相同的尺寸。

3.根据权利要求1所述的基于transformer的医学图像配准方法，其特征在于，所述步骤S2中的三个阶段的下采样，每个阶段的下采样由不同个数的3D深度残差模块组成，浮动图像x_m的高度为H，宽度为w，厚度为D，通过第一阶段下采样生成特征图，C为特征图的通道数，该阶段的下采样由三个3D残差卷积块组成，高度和宽度缩小为原尺寸的1/4，厚度减少为原厚度的1/8；

通过第二阶段的下采样生成特征图，该阶段的下采样由两个3D残差卷积块组成，特征图的高度和宽度缩小为原尺寸的1/8，厚度为原厚度的1/16；

通过第三阶段下采样生成特征图，该阶段由两个3D残差卷积块组成，特征图尺寸缩小为原尺寸的1/32，厚度为原厚度的1/32；

每次下采样后的特征图F^CNN表示为：

其中，l＝3表示三个阶段的下采样，θ表示每个阶段残差网络的参数，C表示为下采样后3D特征图的维数；R表示特征图维数集合；x_m表示浮动图像。

4.根据权利要求1所述的基于transformer的医学图像配准方法，其特征在于，所述步骤S3包括：在编码器模块中，包括多头自注意层和前馈神经网络层，整个编码器模块搭建了多个网络块；解码器类似于编码器，只是解码器的一个网络块中多增加一个多头注意层；

所述特征图展开为一维向量包括：

对三个维度的位置信息进行编码，将编码信息和一维向量合并送入多头自注意层；采用sin和cos函数对三个维度的位置进行编码，生成位置嵌入向量；

所述的位置编码的计算公式如下：

其中，i∈{D,H,W}表示特征图的三个维度，分别是厚度，高度以及宽度，其中合并PE_D、PE_H和PE_W维度上的位置嵌入向量并展开成一维向量；特征图展开的一维向量加上位置向量，送入多头自注意层。

5.根据权利要求1所述的基于transformer的医学图像配准方法，其特征在于，所述步骤S5包括：Transformer输出的序列划分三个部分，调整每部分序列的大小对应每阶段特征图的尺寸，采用自顶向下融合的策略；

第一序列的特征图进行两倍的双线性上采样操作与第二序列的特征图进行融合；

再将融合后的第二序列的特征图进行上采样操作生成两倍大小的特征图，与第三序列的特征图进行融合；

最后建立与固定图像大小的3通道输出，分别对应于图像中各体素点X、Y、Z方向的位移。