[发明专利]自动视频图像分割

说明书

优先权信息

本申请要求2008年8月22日提交的、发明名称为“Automatic Video Image Segmentation”、序列号为61/091,242的美国临时申请的 优先权权益，该美国临时申请的发明人为Jue Wang和Xue Bai，并 且在此通过引用并入其全文。

技术领域

本发明总体上涉及数字图像处理，具体地，涉及视频序列中图 像的自动分割。

背景技术

数字图像可包括光栅图形、矢量图形或其组合。光栅图形数据 (在此也称为位图)可作为称作像素的个体图像元素的网格来存储 和操纵。位图可以通过其像素的宽度和高度来表征，也可以通过每 个像素的位数来表征。通常，RGB(红、绿、蓝)颜色空间中定义 的彩色位图可包括用于红、绿和蓝通道中每个通道的每个像素的1 到8位。Alpha通道可用来存储诸如每个像素的透明度值之类的附加 数据。矢量图形数据可以作为一个或多个利用几何基元构建的几何 对象来存储和操纵。几何基元(例如，点、线、多边形、贝赛尔曲 线和文本字符)可根据数学公式来表示数字图像的部分。

数字图像处理是这样的过程，其利用例如计算机系统的计算装 置来分析和/或修改数字图像。使用专用的软件程序，可按照各种方 式来操纵和变换数字图像。

有许多数字视频应用需要将每个视频图像或帧分割成例如前景 图像或感兴趣对象/区域以及背景。这类分割的现有技术方法包括利 用各种图像编辑工具来手工分割每个帧图像。然而，这种手工分割 是耗时、繁琐且易出错的。

发明内容

提出了用于执行自动分割视频序列图像的系统、方法和计算机 可读存储介质的各种实施方式。

首先，视频序列的当前图像(例如，第一图像)的分割形状预 测和分割颜色模型可根据所述视频序列的至少一个先前图像的已有 分割信息来确定。例如，在一种实施方式中，用户可手工将当前图 像分割成前景和背景，存储该当前图像的分割信息，该分割信息包 括将背景从图像的前景(例如前景对象)中划分出来的分割轮廓。

正如所期望的，可通过多种技术中的任意技术来执行形状预测 和颜色模型的确定。例如，对于形状预测而言，在一种实施方式中， 可采用缩放不变特征变换(SIFT)技术来根据所述序列的至少一个 先前图像(也即，根据预先存在的分割轮廓)生成当前图像的分割 轮廓的估计或粗略版本。对于视频中的连续帧来说，SIFT关键点是 用于视频中连续帧的可靠特征。通过将先前图像/帧的SIFT关键点与 当前图像/帧中的对应关键点进行匹配，可以确定对当前(或新的) 帧中轮廓的良好初始猜测。因而，一旦根据这两个帧中的匹配关键 点确定了仿射变换，便可以对所述初始轮廓进行变换，以生成对后 续帧轮廓的粗略估计或预测形状。在一些实施方式中，可以沿着轮 廓构建多个局部分类器，并使用其来执行关于该轮廓的操作。例如， 在一些实施方式中，可采用滑动窗口方法，其中，中心点位于轮廓 上的每个分类器定义围绕相应轮廓点(分类器的中心)的局部区域 并对该局部区域进行操作，整合来自先前帧的颜色和形状信息(例 如颜色模型和形状预测)，并由此确定预测轮廓。因而，形状对齐 过程可用来将分类器窗口与帧i+1中的前景对象进行粗略对齐。

更具体地，在一些实施方式中，根据形状轮廓的相应部分生成 局部分割形状预测可以包括：通过应用于相应区域中多个关键点上 的缩放不变特征变换(SIFT)来生成初始局部分割形状预测；以及 通过使用应用于沿形状轮廓相应部分的点上的光流(optical flow)， 来细化初始局部分割形状预测的估计，从而生成局部分割形状预测。 在一种实施方式中，通过使用应用于沿形状轮廓相应部分的点上的 光流来细化初始局部分割形状预测的估计从而生成局部分割形状预 测，可以包括：根据相应区域中前景像素的光流来确定局部平均流 向量；以及将局部平均流向量应用于沿形状轮廓相应部分的点，来 生成局部分割形状预测。至少可以根据局部分类器中包括的至少一 个先前图像的相应区域的颜色信息，来生成局部分割颜色模型。因 而，使用局部分类器来表征以及操作图像的局部区域，可显著增强 分割的精度和结果，对于具有复杂前景对象和/或背景的图像而言尤 其如此。