[发明专利]从单个示例学习对象剪切

说明书

背景

在计算机视觉中，对象剪切是重要的和基础的问题。用于对图像中的视觉 对象执行剪切或分离的典型机制是二值分割，其中向图像中的每个像素分配第 一值(如果它属于前景对象)或第二值(如果它属于背景)。取决于操作中的 特定过程，该二值标记或者来源于视觉前景和背景之间的分割边界，或者来自 预先知道的先前存在的分割边界。存在多种用于确定用于剪切前景对象的最优 分割边界的常规技术。

在基于内容的图像检索(CBIR)中，通常使用查询图像作为一个示例来检 索具有相似内容的图像。然而，在大多数情况下，常规检索技术仅可以从整体 查询图像中计算低级特征以表示该图像的内容。查询图像中的高级语义信息大 多被丢失。由此，常规检索系统的性能通常是差的。更接近地表示查询图像的 语义内容的一种方式是尝试剪切查询图像和数据库图像两者中的前景对象。然 而，这种对象剪切仍然是一个具有挑战性的问题。

现有的用于分割一般图像集合的自底向上的方法几乎不能实现语义分割， 因为它们主要根据诸如色彩、纹理的一致性或边界轮廓的平滑度等低级特征来 将像素聚集到各部分中。用户交互可以极大地改进分割结果，但是在诸如CBIR 图像数据库等大型数据库中通过用户交互来分割大量的图像的成本高的惊人。 所需的是一种自动地应用来自一个查询图像或一些查询图像的分割结果来推 断可以被传播以分割大型图像集合的分割结果的精确且稳健的方式。接着，通 过循序的传播，少量的用户操作能够实现对多个图像的分割。

尝试将分割结果从一个图像传播到许多图像的常规方法具有严重的局限。 例如，某些方法针对每种类型的图像类别都需要多个训练图像，而这通常是不 可能的。其它方法需要示例图像和测试图像的前景和背景都高度相似。当在表 面照明方面有轻微改变或在形状或阴影方面有改变时，这些常规方法就失败 了。几乎没有自然图像能满足这些常规技术的严格相似性的需求。其它常规方 法简直太慢了(即使预期是缓慢的过程)，这些方法需要对于例如图像检索或 视频剪切等应用程序而言实现起来过于复杂的密集处理。还有其它常规方法需 要两个图像具有显著不同的背景，以便跨图像来传播分割。

概述

描述了用于从单个示例学习视觉对象剪切的系统和方法。在一个实现中， 示例性系统确定模型图像中每个块附近的色彩上下文以创建外观模型。该系统 还学习跨模型图像中的视觉边缘出现的色彩序列以创建边缘轮廓模型。该示例 性系统接着基于外观模型和边缘轮廓模型来推断未知图像中的分割边界。在一 个实现中，该示例性系统最小化图形剪切模型中的能量，其中外观模型被用于 数据能量而边缘轮廓被用于调整边缘。该系统不限于具有几乎相同的前景或背 景的图像。比例、旋转和视点上的某些变化是允许的。

提供本概述以介绍在下文的详细描述中进一步描述的从单个示例学习对 象剪切的主题。本概述并不旨在标识要求保护的主题的必要特征，也不旨在用 于确定所要求保护的主题的范围。

附图简述

本专利申请包含至少一幅彩色附图。特别地，图8-12可以是彩色的。具有 彩色附图的本专利申请的副本将在请求并支付了必要的费用之后由(美国)专 利局提供。

图1是示例性分割属性引擎的图示。

图2是包括示例性视觉对象剪切引擎的各个系统的图示。

图3是图2的示例性视觉对象剪切引擎的更为详细的框图。

图4是图3的示例性外观相似度模型和边缘轮廓相似度模型的更为详细的 图示。

图5是关于图像剪切引擎的示例性能量最小化器的图示。

图6是图3的示例性上下文色彩提取器的更为详细的框图。

图7是介绍对上下文色彩的示例性提取的图示。

图8是介绍对边缘轮廓的示例性提取的彩色图示。

图9是前景对象和背景对象之间的示例性区别的彩色图示。

图10是提取局部色彩模式(color pattern)和边缘轮廓的示例性技术的彩 色图示。

图11是示出局部色彩模式和边缘轮廓调整的效果和重要性的彩色图示。

图12是将示例性对象剪切技术与常规对象剪切技术进行比较的彩色图示。

图13是基于第一图像的上下文色彩和边缘轮廓来推断第二图像的分割边 界的示例性方法的流程图。

图14是提取上下文色彩的示例性方法的流程图。

详细描述