[发明专利]视频运动分割中的遮挡处理方法及系统

说明书

技术领域

本发明涉及视频处理技术领域，特别涉及一种视频运动分割中的遮挡处理方法及系统。

背景技术

视频运动分割是计算机视觉领域的一个重要且基础的问题。它在很多其他视频相关技术领域都有广泛的应用，例如基于对象的视频编码、基于分割的立体视频生成、物体识别，图像检索等。正是由于视频分割对众多视频相关技术有着至关重要的作用，视频运动分割技术的研究具有极高的科研和应用价值。

视频运动分割技术处理的对象是一段视频序列，即两个或多个连续的视频帧。其目标是将每一个视频帧分割成若干区域或者说若干运动层，使得每个运动层中包含的像素具有一致或相似的运动。如果把不同的运动层用不同的运动标签表示，视频运动分割的目标可以描述为给视频帧中每一个像素分配一个合适的运动标签，相同运动标签的像素具有一致或相似的运动标签的像素具有不同的运动。

由于视频运动分割的依据是像素的运动，因此像素在两帧或多帧中的运动对分割至关重要。对于场景中的某一个点，如果它在两帧或多帧中都有投影像素与之对应，则这些像素在图像坐标中的位置决定了它们的运动，这样的像素在视频中有确定的运动信息，我们称之为非遮挡像素。然而，有些场景中的点只能在某些视频帧中投影，在其他视频帧中由于遮挡等原因无法投影，因此有些像素在其他帧中无法找到对应的像素，因而在视频中没有确定的运动信息可以提取，我们称这样的像素为遮挡像素。特别地，对于利用相邻两帧视频进行运动分割的情况，如果像素只在其中一帧中出现，我们称之为遮挡像素；如果两帧都出现，则为非遮挡像素。

尽管遮挡像素在视频中无法提取运动信息，但它仍然对应场景中的某一点，该点有确定的运动，在运动分割中应当被分到某一运动层。而在现有的运动分割方法中，由于这种像素难以提取运动信息，因此对他们的运动分割难以进行。现有方法中较好的一类考虑到遮挡像素的存在，在运动分割时只将非遮挡像素分配到相应的运动层，而对于遮挡像素，能将它们检测出来，但对它们无法进行运动分割。因此在最终的结果中，遮挡像素都没有运动标签。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的一个目的在于提出一种开放领域新词发现的方法。

本发明的另一目的在于提出一种开放领域新词发现的系统。

为达到上述目的，本发明一方面的实施例提出一种视频运动分割中的遮挡处理方法，包括以下步骤：接收视频帧，并对所述视频帧进行分割，以获得多个分割块，其中，所述视频帧包括遮挡区域和非遮挡区域；从所述多个分割块提取亮度值并进行统计，以得到三个直方图；根据所述三个直方图计算每个遮挡分割块与每个非遮挡分割块之间的距离，使得所述每个遮挡分割块得到多个距离信息；从所述多个距离信息中选择距离最短的距离信息对应的非遮挡分割块；以及将所述距离最短的距离信息对应的非遮挡分割块的运动层分配给所述距离最短的距离信息对应的遮挡分割块，以实现所述遮挡分割块的运动层分配。

根据本发明实施例的方法，解决了视频运动分割中无法对遮挡像素进行运动层分配的问题，同时能够处理帧间运动较大和遮挡像素较多情况下视频运动的分割。

在本发明的一个实施例中，所述三个直方图包括亮度直方图、x方向的亮度梯度直方图和y方向的亮度梯度直方图。

在本发明的一个实施例中，所述接收视频帧，并对所述视频帧进行分割，以获得多个分割块，具体包括：根据所述遮挡区域中相邻两个像素的亮度大小设置所述遮挡区域相似度；根据所述非遮挡区域的运动层设置所述非遮挡区域的相似度；以及根据所述遮挡区域相似度和所述非遮挡区域的相似度对所述遮挡区域和非遮挡区域进行分割，以得到所述多个分割块。

在本发明的一个实施例中，所述非遮挡区域中相邻两个像素的亮度大小越接近，则所述遮挡区域相似度越高。

在本发明的一个实施例中，所述从所述多个分割块提取亮度信息并进行统计，以得到三个直方图，具体包括：从所述多个分割块提取亮度值；根据所述亮度值计算得到x和y方向的亮度梯度；以及根据所述亮度值和所述x和y方向的亮度梯度得到所述三个直方图。