[发明专利]基于混合监督学习的超声和核磁图像配准融合方法及装置

权利要求书

1.基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：其包括以下步骤：

(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动的以确保超声和核磁图像在空间上刚性对准；

(2)非刚性配准网络使用由血管标签和MIND相似性度量共同监督的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。

2.根据权利要求1所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：该方法还包括步骤(3)，将这个配准网络应用到针对单独病人的MR与3D超声序列的配准上，在手术过程中通过训练好的模型实时地得到MR与3DUS的配准融合结果。

3.根据权利要求2所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：所述步骤(1)中，所有图像都被下采样到128*128*128体素；将固定图像MR和浮动图像US先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像MR一同输入到基于B样条的弹性配准网络，得到弹性形变后的图像。

4.根据权利要求3所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：对于刚性配准网络，用双通道网络结构，由五个卷积层和四个向下采样层组成，这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3；最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。

5.根据权利要求4所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：对于弹性配准网络，用双通道网络结构，将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道，选择B样条的网格插值间隔为9，在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3；将128像素尺寸的图像进行两次卷积及两次下采样后，得到batch-size*32*32³大小的特征；经过一次反卷积，padding为0，得到特征大小为batch-size*32*34³，最后再经过一层卷积及下采样，以及kernel-size为1x1x1输出通道数为3的输出层，网络最后输出17*17*17*3的B样条网格形变场；对该网络形变场进行B样条插值，得到稠密形变场，对于刚性配准网络和弹性配准网络中所有的卷积核大小为3，padding为1，下采样参数为2，激活层为LeakyRelu。

6.根据权利要求5所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：所述步骤(2)中，将浮动3D US图像和固定图像MR堆叠在一起为双通道网络的输入；输入的大小为128×128×128×2，将网络输出转换为密集变形场，其大小为128×128×128×3，使用空间变换函数将密集变形场作用到US图像上，然后通过双线性插值对US图像进行重采样；在得到扭曲的超声图像之后，计算它与固定的MR图像之间的相似性测度，并将结果用作网络训练的第一个监督项；将该密集变形场用于分割出的血管标签图像，然后将形变后的标签和固定图像标签之间的差异作为网络训练的第二个监督项。