[发明专利]图像分割

说明书

技术领域

本发明涉及图像的分割，具体地，但不排他地，涉及视频信号的图像的分割。

背景技术

对于许多数字图像处理技术来说，图像的分割是重要的处理过程。例如，图像分割可被使用于生成用于三维成像的深度图、对象识别、人工着色等等。由操作员进行有效的交互式图像分割在例如数字照片和图像处理中、或在对于视频或数字图像的后期制作工作中都是重要的。例如，为具有立体效果的视频创建深度图或双眼像差异图需要对象边界的详细说明，以便精确地指派深度或差异。

用于执行图像的交互式分割的方法的例子可以在Carsten Rother, Vladimir Kolmogorov, Andrew Blake的论文“GrabCut-Interactive Foreground Extraction using Iterated Graph Cuts”,2004年8月, SIGGRAPH(图形学和交互技术方面的专门兴趣组)2004(在http://research.microsoft.com/vision/Cambridge/papers/siggraph04.pdf上可得到)中找到。

当前存在有用来基于放置所谓的‘涂鸦(scribbles)’以便粗略地识别感兴趣的对象所处何处而有效地进行分割的方法。涂鸦典型地是由用户在图像上手工地画出的曲线，用来规定已知是属于特定对象的像素，即由用户指出这些像素属于相同的图段（segment）。例如，涂鸦可以被画在图像对象内，用来规定在下面的（underlying）像素是图像对象的一部分。被分割的区域然后可以从该涂鸦伸展开，让相邻的像素被指派给相同的图段，直至估计要达到对象的边缘为止(例如，由于检测到颜色过渡)。替换地或附加地，涂鸦可被画成识别由用户指出不属于特定对象的多个像素，因此，其不应当被包括在图像对象图段中(典型地，等同于定义应当被包括在对该图像对象图段的互补图段中的多个像素的涂鸦)。在这种情形下，相同的方法可被使用来将像素指派给与对应于该图像对象的图段不同的图段，直至检测到过渡为止。例如，对象外面的涂鸦可被使用来定义背景像素，而对象里面的涂鸦可被使用来定义用于前景对象的前景像素。具有这样的涂鸦的图像例子示于图1。

然而，虽然这样的方法可以帮助图像的分割，但其对于许多图像可能提供次最佳性能。例如，如果在相邻对象之间的颜色过渡非常小或不存在，则该算法常常不会导致在不同图段之间的最佳和清晰分离。虽然分割精确性的这种降级可以通过放置另外的、更精确和详细的涂鸦而被减轻，但这大大地增加了所需要的用户交互，并导致麻烦的和费力的过程。

对于交互式分割提出的另一个方法是让用户直接定义在不同对象之间的边缘。例如，用户可以跟踪图像对象的特定轮廓，且分割可以通过将轮廓一侧的像素指派给一个图段和将轮廓另一侧的像素指派给另一个图段，而使用这个轮廓作为在不同图段之间的边界的定义。然而，这个方法对于用户而言往往很费力，并且费时，以及需要用户手工地跟踪许多(或甚至全部)轮廓以便提供分割。因此，该分割方法是非常费力和麻烦的。而且，最终得到的分割常常是次最佳的，因为用户输入的轮廓可能并不是精确地匹配于在下面的对象边缘。另外，倘若在轮廓一侧描绘了一个以上的图段，则可能很难精确地识别一个个像素属于哪些图段。具有用户定义的轮廓的图像的例子图示于图2。

因此，图像分割的改进的方法将是有利的，具体地，允许有增加的灵活性、减小的复杂性、减少的用户交互、改进的分割和/或改进的性能的系统将是有利的。

发明内容

因此，本发明寻求单个地、或以任何组合的形式优选地缓和、减轻或消除上述的一个或多个缺点。

按照本发明的一方面，提供了对图像进行分割的方法，该方法包括：接收对于图像的多个图段指示，每个图段指示识别一组像素区域和在该组像素区域与多个图段类别中相关联的图段类别之间的关系；接收对于图像的多个边界指示，每个边界指示识别在属于该多个图段类别中不同图段类别的像素之间的边界；以及响应于该多个图段指示和多个边界指示，将该图像分割成该多个图段类别。

本发明可提供改进的分割。具体地，可以实现基于用户提供的图段指示和边界指示的改进的交互式图像分割。本发明具体地可以允许在不展现强烈的视觉过渡的对象边缘周围的改进的分割，而同时仍旧允许半自动的分割。在许多实施例中，可以减小对于给定的图像和分割精确度所需要的用户交互。