[发明专利]一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法

说明书

本发明提供一种基于掩码自编码器CNN‑Transformer的心脏磁共振图像配准方法，属于医学图像处理技术领域。为解决现有技术中图像冗余特征以及注意力权重区分不够差异化所带来的计算量巨大，同时无法达到较高配准精度的问题。通过基于掩码自编码器的Transformer预训练网络获取预训练权重，以用于基于CNN‑Transformer配准网络的权重初始化，配准网络通过空间通道并行挤压与激励模块生成具有不同维度注意力分布加权的特征图；通过Transformer编码器进行特征提取；通过基于CNN的解码器生成固定图像与浮动图像之间的形变场；将浮动图像、形变场输入空间变换网络，得到配准图像；计算配准图像与固定图像之间的损失，生成最优权重配准网络。本发明方法能够减少计算量的同时，达到更精准的配准结果。

技术领域

本发明属于医学图像处理技术领域，具体涉及一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法。

背景技术

医学图像配准在医学图像处理中是一项重要的分析任务，尤其是对于可变形的非刚性器官的配准，能够为医生提供病变的多种互补信息。由于医学图像中组织结构的可变性，心脏图像的配准是一个比较复杂的问题，主要体现在：(1)非刚性复杂运动：在心动周期中，心脏会发生十分复杂的整体刚性运动和局部变形，使得心脏在一个心动周期的连续时间帧内获取的切片形态差异很大，很难精准的跟踪心脏的运动过程；(2)解剖标志稀缺：与其它软组织结构相比，刻画心脏运动所需的精确解剖标志要更少且难以标注，尤其是在心肌壁中缺乏可靠的可识别标志，使得对于配准来说存在一定困难。

随着深度学习技术的兴起，基于深度神经网络的深度学习方法已经成为了解决医学图像配准性能提升瓶颈的关键所在。但是，目前的主流框架如VoxelMorph，多采用卷积神经网络作为主干结构，而传统的卷积运算是通过具有卷积核大小的窗口滑动提取特征的，感受野局限于固定大小的区域，只在提取局部特征时具有很好的效果，对于获取全局信息存在一定局限性。Transformer的引入在解决深层局部特征信息丢失等问题上起到了很好的效果，目前也有很多的Transformer基线模型以及融合模型被提出来去缓解这些问题，但实际上，相比于信息密度很大的语言文本信息，图像数据形式本身是具有高度信息冗余的，这使得模型对这类数据的预测难度相对较大，有许多对于任务目标无关的一些信息可能也包含在模型学习的范围内，使得模型需要花费大量的参数计算。因此，亟需一种能够有效减少特征冗余、且在减少模型参数计算的同时提升配准的精度的网络模型。

发明内容

本发明要解决的技术问题是：

本发明为了解决现有技术中存在的图像冗余特征以及注意力权重区分不够差异化所带来的模型计算量巨大，并且配准后图像的心脏心室的轮廓不够明显，同时无法达到较高配准精度的问题。

本发明为解决上述技术问题所采用的技术方案：

本发明提供了一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法，设计有掩码的自编码器(MaskedAutoEncoder,MAE)，包括如下步骤：

S1、获取心脏磁共振图像数据集T，对数据集T进行标准预处理，得到数据集T1；获取数据集T中两个时间帧的心脏磁共振影像数据，并随机组合两个时间帧的图像，分别作为固定图像和浮动图像，对图像对进行拼接与标准预处理，得到数据集T2；

S2、分别构建基于掩码自编码器的Transformer预训练网络和基于CNN-Transformer的配准网络；

所述基于CNN-Transformer的配准网络包括空间通道并行挤压与激励模块、Transformer编码器、基于CNN的解码器以及空间变换网络；

S3、采用数据集T1对基于掩码自编码器的Transformer预训练网络进行训练，得到预训练权重；