[发明专利]基于混合监督学习的超声和核磁图像配准融合方法及装置

说明书

基于混合监督学习的超声和核磁图像配准融合方法及装置，其既满足了任务的需求又大大降低了训练的难度和时间成本，同时降低了对人工标签的数量以及精度的要求。其包括：(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准；(2)使用由血管标签和MIND相似性度量共同监督的弹性配准网络的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。

技术领域

本发明涉及医学图像处理的技术领域，尤其涉及一种基于混合监督学习的超声和核磁图像配准融合方法，以及基于混合监督学习的超声和核磁图像配准融合装置。

背景技术

磁共振MR(即，磁共振共像，Magnetic Resonance Imaging)和超声US(即，超声波扫描，ultrasound scan)肝脏图像的配准和融合可以为肝脏消融手术提供高质量的指导。然而，准确的MR-US配准仍然是一项具有挑战性的任务，主要困难来自于不同物理原理成像时组织或器官外观的巨大变化，包括：两种形态之间的灰度变化，超声较低的成像质量，和由于超声探头的压迫而引起的肝脏大规模的形变，以及患者呼吸的影响。

在过去的几十年中已经提出了许多配准算法。这些多模态配准方法可分为两类。一类是根据图像灰度。根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括MI，NMI，CC，NCC等。但是这些相似性测度在面临US和MR的配准任务时却往往失败，由于这两种模态图像截然不同的表观。此外，慢速的迭代优化过程也阻碍该图像配准方法在临床中的应用。另一类配准方法基于特征。当自动提取特征时，它将面临与基于图像灰度的方法相似的挑战。人工手动选择解剖学特征是比较稳定的，但比较费时而且昂贵，有时甚至是不可行的。

最近，基于深度学习的方法，尤其是利用卷积神经网络，在配准领域展现了很好的前景。

之前人们提出以传统算法得到形变场作为金标准，通过回归网络学习形变场与成对图像表观差异之间的关系，以及基于人工相似性测度作为损失函数的无监督学习。这两类方法并不太适用于US、MR这两种模态差异如此之大的图像，因为目前并没有一个足够鲁棒的相似性测度可以完成US、MR的配准。

有学者认为基于解剖知识的高层次对应结构作为标签更实用并且可靠。通过标出同一对图像中相同的器官以及它们的边界，病理区域和一些其它的解剖结构，形态或生理特征作为弱标签来训练低级体素之间的对应关系。通过这个方法，他们成功实现前列腺的US和MR图像的配准。但是，对于面临的肝脏MR与US的多模态图像配准任务，一些解剖标签(例如隔膜和细血管)难以在3D US图像中手动标注。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于混合监督学习的超声和核磁图像配准融合方法，其既满足了任务的需求又大大降低了训练的难度和时间成本，并降低了对人工标签的数量以及精度的要求。

本发明的技术方案是：这种基于混合监督学习的超声和核磁图像配准融合方法，其包括以下步骤：

(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准。

(2)非刚性配准网络使用由血管标签和MIND相似性度量共同监督训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。