[发明专利]基于图像转换和域泛化的无监督多模态医学图像配准方法

说明书

一种基于图像转换和域泛化的无监督多模态医学图像配准方法，首先，两个单模态配准网络在各自模态域的真实图像上进行预训练，直到配准网络可胜任单模态配准任务。接着，转换网络和配准网络进行联合训练。转换网络所得合成图与目标模态真实图之间的形变场被预训练好的配准网络所计算，此时，转换网络的训练被本文所提的形变场对抗损失和形变循环一致性损失所约束；当合成图的定量评价指标优于所设定阈值时，配准网络后端网络层的参数可根据对应配准过程的损失项进行微调，使配准网络的有效应用范围逐步泛化至合成图所在的模态域。本发明配准性能胜过了现有的基于无监督学习的多模态医学图像配准方法，且可与基于监督学习的配准方法进行竞争。

技术领域

本发明涉及一种基于无监督多模态医学图像配准方法。

背景技术

医学图像配准(medical image registration，MIR)是对多幅医学图像的空间坐标系进行对齐的操作。根据参与配准操作的若干幅图像的模态是否相同，可将MIR分为单模态MIR和多模态MIR。对于单模态MIR，由于moving images和fixed image具有相同的模态风格，因此，两图之间的差异仅由解剖点位置偏差所引起。该差异可被反馈于单模态MIR模型的训练。换言之，fixed image可被视作moved images的ground-truth。

存在的技术缺陷为：对于多模态MIR，由于存在模态差异，fixed image往往不能作为moved images的ground-truth。事实上，可将fixed image的跨模态aligned图作为movedimage的ground-truth。然而，aligned图像的获得是困难的，这导致多模态MIR的训练比单模态MIR的训练更具挑战。

发明内容

为了克服现有技术的不足，本发明针对图像转换不准确所带来的问题，提出了一种基于图像转换和域泛化的无监督多模态医学图像配准方法，首先，两个单模态配准网络在各自模态域的真实图像上进行预训练，直到配准网络可胜任单模态配准任务；接着，转换网络和配准网络进行联合训练，一方面，转换网络所得合成图与目标模态真实图之间的形变场被预训练好的配准网络所计算，此时，转换网络的训练被本文所提的形变场对抗损失和形变循环一致性损失所约束；另一方面，当合成图的定量评价指标优于所设定阈值时，配准网络后端网络层的参数可根据对应配准过程的损失项进行微调，使配准网络的有效应用范围逐步泛化至合成图所在的模态域。

本发明解决其技术问题所采用的技术方案是：

一种基于图像转换和域泛化的无监督多模态医学图像配准方法，所述方法的训练由MIR模块的预训练阶段和转换模块/MIR模块的联合训练阶段所构成，所述方法包括如下步骤：

1)联合训练阶段，过程如下：

首先，随机采样的真实图batch被转换模块转换为合成图batch。接着，转换模块和配准模块被联合优化，该优化需要这批真实图和合成图的共同参与；对于配准模块，在合成图batch被判定为“质量令人满意”的情况下，这批真实图/合成图才被用于计算配准过程中的损失项，且该损失被用于配准模块的泛化；在转换模块和配准模块都完成优化更新后，后续训练是否被执行的情况才被判断；当联合训练的进程达到人为设定的终点时，训练结束；

2)转换模块的优化目标，过程如下：

对于已预训练好的配准网络，合成图的准确性越高，多模态配准的效果越好；CycleGAN因其适用于在unpaired数据上进行双向图像转换训练而被采用为转换模型，该模型包含了两个转换器G_x和G_y，以及两个辨别器D_x和D_y，辨别器D_x对real_x和syn_x*进行辨别，辨别器D_y对real_y和syn_y*进行辨别，其优化目标见公式(1)：