[发明专利]基于方向性跟踪窗口的像素标号传播方法

说明书

技术领域

本发明涉及一种像素标号传播方法，尤其涉及一种基于方向性跟踪窗口的像素标号传播方法。

背景技术

视频帧间的标号传播是视频处理，尤其是视频编辑中常见的问题。标号通常可表示视频处理的结果，标号传播可以理解为已知某一帧的结果，对其它帧的结果进行求解的过程。比如在区域跟踪和前景分割中，用户可以通过交互获得某一帧的结果，再利用标号传播获得其它视频帧的结果。标号传播通常采用以下三种方法：

1、基于图像匹配的方法

基于图像匹配的方法首先将输入帧与目标的帧的图像进行配准，再依据像素的对应关系将输入帧的像素标号拷贝到目标帧。因此，这一类的标号传播方法等价于进行图像匹配。图像匹配是计算机视觉中的经典问题，一般采用光流跟踪进行。由于遮挡、边缘模糊等的影响，精确的图像匹配很难得到。基于局部特征的光流方法不适用于图像的平坦区域，而基于全局优化的方法又对遮挡等造成的视频不连续性很敏感。因此，虽然理论上标号传播可以等价于图像匹配，但实际上这一类方法较少被独立应用，通常都只是用于获得一个初始结果。

2、基于全局分类器的方法

基于全局分类器的方法首先对每个像素提取其特征，并依据像素在特征空间的距离和邻接关系，在特征空间完成标号的传播。所谓全局分类器，是指目标帧的所有像素都共享同一分类器，而与像素的位置无关。这一类方法的一个典型例子是基于全局颜色分布的视频分割，该方法以像素颜色作为特征，首先以已知标号的前景和背景像素颜色为样本，获得前景和背景在颜色空间的分布函数，再基于分布函数对未知像素进行分类。基于全局分类器的方法忽略了像素的空间位置关系，而直接在特征空间对标号进行传播，这使得其在特征具有二义性的区域很容易出错，比如在前景和背景颜色相似的区域，基于全局颜色分布的视频分割方法会产生大量的错误。不过，由于忽略了像素的空间位置关系，并可以在较大范围进行采样，也使得基于全局特征分布的方法可以较好地处理视频中的时间不连续性（即由于遮挡、拓扑变化、快速运动等导致的新出现区域）。

3、基于局部分类器的方法

在Adobe After Effects 5中新引入的RotoBrush工具采用了局部分类器进行标号传播其目的是为了克服全局分类器在特征具有二义性的区域容易出错的缺点，与全局分类器不同，每个局部分类器只覆盖目标图像的一个局部区域，而训练局部分类器的样本则来自于输入图像的对应区域。这实际上是利用像素空间位置关系的一种方式。另一方面，由于局部分类器所覆盖的区域比全局分类器要小得多，因此特征分布也相对较为简单，从而进一步降低了其出错的可能性。

本发明所解决的技术问题有别于常见的视觉跟踪，一种非参数化模型的视觉跟踪方法，No.200910080381.8和视频目标标记实时多目标标记及质心运算方法，No.200510047785.9，以及特征点跟踪一种显微序列图像的多特征点跟踪方法，No.201010516768.6。视觉跟踪和目标标记都可归结为对区域的标记问题，而像素标号传播需要对每个像素进行标记，因此与视频分割关系更为紧密。本发明也可直接用于视频分割。特征点跟踪属于图像匹配的方法，但只处理视频中少部分易于跟踪的像素，不能被用于像素标号传播。本发明所采用的方向性窗口主要是为了更好地利用颜色分布，因此与特征跟踪和图像匹配都有本质的区别。

采用局部分类器的一个关键步骤是定义每个分类器的覆盖区域，即跟踪窗口。跟踪窗口越大，每个窗口内的特征分布就越复杂，且包含二义特征的可能性就越大，这将导致与全局分类器类似的问题；跟踪窗口越小，则对二义特征的鲁棒性会越好，但同时会导致对视频帧间的局部不连续性敏感，在快速运动和新出现的区域更容易出错；现有的局部分类器都采用规则形状的跟踪窗口即正方形或圆形跟踪窗口，但是在同时面临二义特征和帧间不连续问题时很难获得令人满意的效果；本发明所公开的方向性跟踪窗口，将有助于克服局部分类器的这一缺点。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于方向性跟踪窗口的像素标号传播方法，它具有有效利用空间下文关系和减少由二义特征导致错误的优点。

为了实现上述目的，本发明采用如下技术方案：

一种基于方向性跟踪窗口的像素标号传播方法，具体步骤为

步骤一：将输入图像中的待传播区域膨胀30-70像素，结果作为目标图像中的待标记区域；

步骤二：对所有指定的方向，在目标图像中沿每个方向布置跟踪窗口，使每个方向上的跟踪窗口都完全覆盖待标记区域；