[发明专利]前景图像分割方法和装置

摘要

提供了用于从输入图像中分割出前景对象的方法、装置以及系统。该方法包括：获取输入图像及其深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；获取输入图像的运动信息，基于该运动信息根据该粗略前景区域生成三色图；以及根据生成的三色图分割出前景图像。由此，基于深度信息以及运动信息生成三色图，从而能够根据该三色图更准确地将前景对象分离出来。 1

主权项

1.一种前景图像分割方法，包括：

获取输入图像及其深度信息；

基于输入图像的深度信息，对输入图像进行粗略分割以获得粗略前景区域；

获取输入图像的运动信息，基于该运动信息将该粗略前景区域划分为前景区域、背景区域以及未知区域，来生成三色图；以及

根据生成的三色图分割出前景图像。

2.如权利要求1所述的方法，其中基于输入图像的运动信息将该粗略前景区域划分为前景区域、背景区域以及未知区域包括：

获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；

基于每个像素的运动信息，根据该粗略前景区域生成三色图，

其中，

如果像素的运动信息小于预定阈值，确定该像素属于背景区域，

如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，确定该像素属于未知区域，

如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，确定该像素属于前景区域。

3.如权利要求2所述的方法，其中根据生成的三色图分割出前景图像包括：

计算所述未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；

基于像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及

基于该确定结果获得前景图像。

4.如权利要求3所述的方法，其中确定该像素是否属于前景区域包括：

构造用于前景图像分割的α值的代价函数；

对于所述未知区域中的每个像素，最小化该代价函数，利用该像素的颜色信息、深度梯度信息以及深度变化信息求解该像素的α值，

其中，当像素的α值大于等于预定阈值时，确定该像素属于前景区域，当像素的α值小于该预定阈值时，确定该像素不属于前景区域。

5.如权利要求4所述的方法，还包括：对于所述未知区域的每个像素，在其n×n像素的邻域中计算该像素的颜色信息、深度梯度信息以及深度变化信息的相应归一化权重，

其中利用该像素的颜色信息、深度梯度信息以及深度变化信息求解该像素的α值包括利用该像素的颜色信息加权值、深度梯度信息加权值以及深度变化信息加权值求解该像素的α值。

6.如权利要求1所述的方法，其中基于输入图像的深度信息对输入图像进行粗略分割以获得粗略前景区域包括：

基于输入图像的深度信息，根据Ω形状特征从输入图像中检测人像的头肩部分，作为粗略前景区域；以及

将输入图像中的该头肩部分之外的每个像素的深度值与已检测出的头肩部分的深度值比较从以确定该像素是否属于该粗略前景区域，

其中，当像素的深度值与头肩部分的深度值之差小于等于预定阈值时，确定该像素属于该粗略前景区域，当该像素的深度值与头肩部分的深度值之差大于该预定阈值时，确定该像素不属于该粗略前景区域。

7.如权利要求1所述的方法，其中所述运动信息是光流信息。

8.一种前景图像分割装置，包括：

获取部件，获取输入图像及其深度信息；

粗略分割部件，基于获取部件所获取的深度信息，对输入图像进行粗略分割以获得粗略前景区域；

三色图生成部件，基于输入图像的运动信息，将该粗略前景区域划分为前景区域、背景区域以及未知区域，来生成三色图；以及

前景图像分割部件，根据生成的三色图分割出前景图像。

9.如权利要求8所述的前景图像分割装置，其中该三色图生成部件包括：

第一计算部件，获得从该输入图像向前连续m帧的图像，从该连续m帧的图像计算每个像素的运动信息；

生成部件，基于第一计算部件计算的每个像素的运动信息，根据该粗略前景区域生成三色图，

其中，

如果像素的运动信息小于预定阈值，该生成部件确定该像素属于背景区域，

如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中存在不属于所述粗略前景区域的像素，该生成部件确定该像素属于未知区域，

如果像素的运动信息大于等于该预定阈值，并且该像素的邻域中的所有像素都属于所述粗略前景区域，该生成部件确定该像素属于前景区域。

10.如权利要求9所述的前景图像分割装置，其中该前景图像分割部件包括：

第二计算部件，计算所述未知区域的每个像素的颜色信息、深度梯度信息以及深度变化信息；

确定部件，基于所述第二计算部件计算的像素的颜色信息、深度梯度信息以及深度变化信息，确定该像素是否属于前景区域；以及

获得部件，基于该确定部件的确定结果获得前景图像。