[发明专利]用于实例分割的显微镜系统和方法

说明书

本发明提供了一种用于至少一个显示多个对象(21)的显微镜图像的实例分割的计算机实施方法，包括：计算显微镜图像(20)中对象(21)的对象中心(31)位置；确定(P2)显微镜图像(20)的哪些图像区域(41)被对象(21)覆盖；使用对象中心(31)作为沃罗诺伊位点(31')计算(P3)沃罗诺伊区域(51)；并通过使用沃罗诺伊区域(51)的边界(52、52’)将对象(21)覆盖的图像区域(41)分离成不同的实例(61)，来确定(P4)实例分割蒙版(60)。

技术领域

本公开涉及用于显微镜图像实例分割的显微镜系统和方法。

背景技术

数字图像处理在现代显微镜中的重要性，尤其对基于捕获的图像的自动样品分析或自动显微镜控制，是不断增加的。对于各种过程，实例分割蒙版是有利的。在本公开中将分割蒙版理解为一个图像，其中每个区域或每个像素指示一类。分割蒙版特别的可以是二进制蒙版，其中第一个像素值表示相应的像素属于第一类(例如，属于“样本”或更一般的“对象”类)，而第二像素值表示相应的像素属于第二类(例如，属于“非样本”或“背景”类)。分割蒙版通常是根据捕获的显微镜图像计算得出的，例如相位衬度图像或荧光图像。在分割蒙版中，显示出同一类不同对象的连续图像区域不细分为实例，因为这些图像区域的每个像素具有相同的像素值。因此，分割蒙版不显示同一类的一个或多个相邻对象以及它们之间的边界在何处。实例分割蒙版在这方面有所不同：不仅是为实例分割蒙版中每个区域或每个像素指示一类，而且同一类的对象也彼此区分。因此，在实例分割蒙版中，在另外指定同一类的潜在多个对象之间存在哪个对象时，将一个类分配给每个像素。

已知的用于生成实例分割蒙版的图像处理程序要么仅提供适度的质量，要么适用于当前申请需要大量工作。例如，使用预定的训练数据来学习的用于实例分割的机器学习模型。训练数据通常包括大量显微镜图像(例如相位衬度图像)和相关的实例分割蒙版，其创建需要专家的手动工作。根据本申请，新的申请可以提供必要的新培训，进而需要大量的手动注释工作。希望能够以较少的手动工作提供高质量的实例分割模型。

无注释的分割方法-例如，通过无监督训练学到的图像处理模型仅能将粗糙的划分为前景和背景，而不是实例分割。

描述了用于生成实例分割蒙版的常规机器学习模型，例如，在：

乌威施密特等人，“使用星形凸多边形的细胞检测”，ARXIV：1806.03535V2[CS.CV]，2018年11月8日。

显微镜图像的图像分析的一个示例是汇合估计：汇合被理解为生物细胞通过显微镜图像捕获的区域的覆盖范围。例如，可以通过简单的分割模型来确定汇合，该模型输出二进制蒙版，其中一个像素值指示细胞覆盖的区域。汇合也可以从荧光图像的轮廓估算。经常使用具有卷积神经网或网络的机器学习模型。与已知的实例分割方法相比，汇合可以相对轻松，精确地进行。

为了完整性而引用了进一步的图像处理方法：在显微镜图像中计数生物细胞的方法，其中特别的，使用检测模型或进行密度估计，已知，请参见：

谢伟娣(Weidi Xie)，J、艾莉森·诺布尔安德鲁·齐瑟曼(2018)“通过完全卷积回归网络的显微镜细胞计数和检测”，生物力学和生物医学工程学的计算机方法：成像可视化，6：3，283-292，doi：10.1080/：10.1080/21681163.2016.1149104。

这有助于对细胞中心位置的相对简单和可靠的确定。

在以下方式中描述了用于显微镜图像中细胞计数的机器学习模型：

约瑟夫·保罗·科恩等人，“计数感：通过完全卷积的冗余计数进行计数”，arxiv：1703.08710[cs.cv]，23.07.2017。

通过FCN(完全卷积网络)确定每个图像部分或补丁的对象计数，以便可以通过平均重叠图像部分的计数来确定图像中存在的对象的总计数。