[发明专利]用于医学成像中分段的基于形状的生成对抗网络

说明书

为了医学成像中的分段，在训练中使用形状生成对抗网络(形状GAN)。通过在比图像空间的像素或体素更低维度的空间中包括形状信息，可以利用形状损失或优化来训练网络。对抗损失和形状损失被用于训练网络，因此所得到的生成器可以在2D或3D中对复杂形状进行分段。可以使用其他优化，诸如使用图像空间中的损失。

相关案件

本申请要求2019年8月7日提交的EP19190567.8的优先权，其全部内容通过引用结合于此。

背景技术

本实施例涉及医学成像中的自动分段。形状被广泛用于医学图像分段算法中，以将分段的区域约束为一类学习的形状。传统的分段通常基于统计形状模型或水平集。基于机器学习的分段可以不使用形状。深度学习方法已经被用于训练网络以进行分段。在训练中使用的损失函数是基于像素差异的(即，训练损失是以逐像素的方式定义的)。这导致了大部分可用信息的损失。形状先验的缺乏通常导致不正确的拓扑。已经进行了一些尝试，以将基于形状的损失项包括到深度学习问题的优化，并直接在形状空间中进行优化。然而，这些已被证明仅对二维(2D) 简单的、相对凸起的形状有效，而对于更复杂的三维(3D)形状常常不能收敛。

发明内容

作为介绍，下面描述的优选实施例包括用于分段的方法、计算机可读介质和系统。在训练中使用形状生成对抗网络(形状GAN)。通过在比图像空间的像素或体素更低维度的空间中包括形状信息，可以利用形状损失或优化来训练网络。通过使用对抗训练，惩罚了错误形状。对抗损失和形状损失被用于训练网络，因此所得到的生成器可以在2D或3D中分段复杂形状。可以使用其他优化，诸如使用图像空间中的损失。

在第一方面，提供了一种用于在医学成像系统中进行分段的方法。一种医学扫描仪扫描患者，提供表示该患者的第一成像数据。图像处理器对以第一成像数据表示的对象进行分段。所述分段使用应用于第一成像数据的机器学习生成网络。机器学习生成网络是利用形状空间中的优化来进行对抗训练的。在显示器上输出基于分段的对象的图像。

在一个实施例中，超声扫描仪进行扫描。可以使用扫描仪的其他模态，诸如计算机断层摄影系统或磁共振系统。

在各种实施例中，所述分段包括将所述机器学习生成网络应用为图像到图像卷积深度学习网络；所述机器学习生成网络已经被训练，其中所述形状空间包括来自流形（manifold）或非监督学习的较低维度空间，诸如所述形状空间是来自带符号距离函数的主分量分析的特征矩阵；所述机器学习生成网络已经被训练，其中所述优化包括图像空间中的第一损失和所述形状空间中的第二损失；所述机器学习生成网络被训练成输出距所述对象边界的按像素或体素的带符号距离；和/或所述机器学习生成网络已经使用关于按体素或像素的距离的对抗损失用判别器来训练。

在进一步的实施例中，根据由机器学习生成网络输出的距离函数来确定形状空间的形状参数。所述形状参数用于基于与参数分布的比较来对所述对象进行分类；和/或基于与参数分布的比较来指示分段中的置信度。

在第二方面，提供了一种用于对象定位的系统。一种医学扫描仪被配置为扫描患者，从而产生表示所述患者的图像数据。图像处理器被配置为利用机器学习图像到图像网络来定位图像数据中表示的对象。使用形状先验训练机器学习图像到图像网络。显示器被配置为显示作为所定位的对象的函数的图像。

在一个实施例中，机器学习图像到图像网络被配置为输出距对象边界的按像素或体素的距离，并且以该距离的对抗损失进行训练。在另一实施例中，形状先验是特征值。机器学习图像到图像网络是用平滑的L1损失对特征值训练的。

在另一实施例中，使用图像空间中的第一损失和形状空间中的第二损失来训练机器学习图像到图像网络。

在又一实施例中，图像处理器被配置成从图像数据确定形状参数，并使用形状参数来辅助诊断。例如，形状参数用于检测对象的特性，以识别类似的情况，和/或识别对象的位置的置信度。