[发明专利]一种基于显著性检测的深度图提取方法

权利要求书

1.一种基于显著性检测的深度图提取方法，其特点在于，该方法具体包括以下步骤：

步骤(A)把输入的图像转换为HSI彩色空间的图像；

步骤(B)对HSI彩色空间的图像的像素进行风景图类的物理元素的判定，然后计算整幅图像风景图类元素的比例，并给出判别的经验阈值，比较这一比例和阈值判别出图像是否属于风景图：如属于，则进入步骤(C)；如不属于，则进入步骤(D)；

步骤(C)对于属于风景图类型的图像，首先给定全局的深度梯度图模型，然后计算出风景图的三类物理元素，并给三种元素赋自上而下的等差灰度值，最后将两种深度线索的深度图进行加权融合；随后，进入步骤(G)；

步骤(D)如果图像不属于风景图，则对其进行霍夫变换检测出图像中的直线段，并给出判别的经验阈值：

如果由霍夫变换检测出的直线段的数量小于本步骤的阈值，则将其归为特写镜头类图像，并转入步骤(E)；

如果由霍夫变换检测出的直线段的数量不小于本步骤的阈值，则通过计算直线段交叉点所在区域范围的方式，将图像归为线性透视图或特写镜头类图像；如果满归类为线性透视图，则转入步骤(F)，如果归类为特写镜头类图像，则转入步骤(E)；

步骤(E)对于特写镜头类图像，对其进行显著性检测，然后对检测得到的图像进行二值化处理以分离出前景图像和背景图像，再与相应的全局深度图加权计算得到此种类型图像的深度图，随后转入步骤(G)；在步骤(E)中，首先对图像进行显著性检测，显著性检测目的是寻求一幅图像的显著性区域，被称之为显著性区域就是指图像中最能引起人们注意的一些区域，因此可以用于提取出前景的目标，具体步骤是：

(1)假设图像F中的每一个像素点x的特征为F(x)，F(x)∈Q_F(x)，Q_F(x)是包含不同特征的特征空间，F(x)是RGB彩色空间R、G、B通道及亮度的任意特征之一，用一个矩形的窗口W并将其分成内核部分K和外边界部分B，假定K是显著的而B是背景，矩形W内的随机变量Z，则显著性公式如下：

S₀(x)＝P(Z∈K|F(Z)∈Q_F(x))

如果S₀(x)趋近于数值1，那么x像素是在特征Q_F(x)下是显著的；

(2)基于贝叶斯公式P(A|B)＝P(B|A)P(A)/P(B)和假设H₀:Z∈K,H₁:Z∈B,F(x):F(Z)∈Q_F(x)，则显著性公式化为：

同时在均匀分布的K和B上的条件概率分布为p(x)＝p₀/|K|，x∈K；

上式中，p₀为x点落在内核区域K上总的概率，其大小在0-1之间；

p(x)＝(1-p₀)/|B|，x∈B，那么在K上的条件概率为：

同样，在B上的条件概率记为：

h_B(x)＝P(F(x)|H₁)，显著性化为：

(3)K和B上的条件概率的规则化：通过高斯函数将K和B上的条件概率化为h_K,α和h_B,α，再根据x的特征F(x)在CIELab彩色空间中F(x)＝(L(x),a(x),b(x))的形式，显著性公式化为：

其中，分别表示在K区域CIELab彩色空间的L、a和b彩色分量的条件概率；

(4)通过将能量函数最小化，计算出最后的显著性图，然后二值化显著图以提取出前景图D_s，再与相应的全局深度图D_g、灰度图D_y线性融合为特写镜头的深度图D_f，公式如下：

D_f＝αD_g+βD_s+(1-α-β)D_y

D_f是得到的特写镜头类图像的深度图；

其中，显著图为s＝(s₁,...,s_N)，s_N为第N个像素的显著性，c＝(c₁,...,c_N)表示图像且c_n＝(L_n,a_n,b_n)是CIELab彩色空间的向量，σ＝(σ₁,...,σ_N)是显著性的二值化标记值，σ_n∈{0,1}，σ_n是1表示为第n个像素是显著的，E₁(σ,c,s)是能量函数，U^S用于削弱被标记为显著的非显著像素，U^C用于加强被标记为非显著的显著像素，V用于支持空间连续性的函数

步骤(F)对于线性透视图类的图像，先将得到的主要直线的交叉点作为消失点，然后将消失点作为最远点，再按照图像中某个像素和该像素的距离与消失点和图中距消失点最远的像素的距离的比例赋深度值，最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图，随后转入步骤(G)；

步骤(G)对得到的深度图进行双边滤波的后处理，输出结果。

2.根据权利要求1所述的深度图提取方法，其特征在于，其中在步骤(F)，由于各种场景中大量存在着消失线和消失点；基于消失点是图像中最远的像素点的假设，本发明先建立一个深度梯度模型以估计深度值；

(1)先将步骤(D)中的彩色图转换为灰度图；

(2)用Sobel边缘检测算子检测灰度图中的边缘，并将得到的边缘图进行二值化处理；

(3)利用霍夫变换检测步骤(2)图像中存在的直线段；

(4)选出直线段最长的两条线段作为消失线，将图像分成四个平面，交叉线上面和下面的作为垂直梯度平面，交叉线左边和右边的作为水平梯度平面，

(5)图像中某个像素根据其与消失点之间的距离计算出相应的深度值，具体公式如下：

h是高度、w是宽度；

水平梯度平面：

垂直梯度平面：

其中，分别表示在图像的垂直方向和水平方向上与消失点最大的距离，x_VP和y_VP是消失点的坐标位置，D_(x,y)是位置点(x,y)处的灰度值；

(6)最后与YCrCb彩色空间的Cr、Cb通道的图像进行加权融合得到此类图像的深度图。