[发明专利]结合彩色和深度信息的图像显著性检测方法

摘要

本发明公开了一种结合彩色和深度信息的图像显著性检测方法，该方法包括：对待检测彩色图像进行超像素分割,在分割得到的每一个区域中结合深度和彩色特征计算区域对比度图,并利用深度信息得到深度先验图和方向先验图；融合区域对比度图,深度先验图和方向先验图,计算得到融合先验信息的对比度图；对融合先验的对比度图进行全局优化：执行法向内积加权的网页排名算法，并选取置信度高的区域作为采样区域，设计基于马尔科夫随机场模型的图像恢复问题，求解得到最终的显著性检测图。本发明挖掘了深度和方向信息对显著性的影响，与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。

主权项

一种结合彩色和深度信息的图像显著性检测方法，其特征是，包括如下步骤：(1)输入待检测彩色图像及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，对转换后得到的图像的每个像素提取5维向量(x,y,L,a,b),其中x表示图像中当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割，将图像分割成多块区域的集合R＝{r_i；1≤i≤n,i∈Z},其中r_i表示分割得到的第i个区域，n表示区域总数目，Z表示整数集合；(3)对步骤1输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的深度值变换为0，得到归一化后的深度图Dmap；(4)结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数据，并计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N；(5)对步骤2得到的图像超像素分割结果的每个区域r_i(i＝1～n)提取特征f_i＝[L(r_i),a(r_i),b(r_i),μd(r_i)]，其中L(r_i)为区域r_i内所有像素L的均值，a(r_i)为区域r_i内所有像素a的均值，b(r_i)为区域r_i内所有像素b的均值，d(r_i)为变换后的深度图Dmap中区域r_i的深度均值,μ的值由用户设定；(6)对步骤2得到的区域集合，计算其中任意一对区域r_i和r_j(i≠j)之间的对比度C(r_i,r_j)，其描述如下：$C(r_i,r_j)=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}_2^2}{{2\mathrm{\&sigma;}}_x^2}){\left|\right|f_i-f_j\left|\right|}_2---\left(1\right)$其中exp(·)表示指数函数，x_i表示区域r_i重心的位置，σ_x的值由用户设定，||·||₂表示L2范数；(7)对步骤2得到的区域集合中的每一个区域r_i(i＝1～n)，结合步骤6中得到的对比度C(r_i,r_j)，计算该区域的区域对比度图S_rc，S_rc图像中区域r_i的取值描述如下：$S_{\mathrm{rc}}\left(r_i\right)=\underset{i\&NotEqual;j}{\mathrm{\&Sigma;}}A\left(r_j\right)C(r_i,r_j)---\left(2\right)$其中A(r_j)表示区域r_j的面积；(8)对步骤2得到的区域集合中的每一个区域r_i(i＝1～n)，结合步骤5计算的区域深度均值d(r_i)，计算深度先验图S_dp，S_dp图像中区域r_i的取值描述如下：$S_{\mathrm{dp}}\left(r_i\right)=\sqrt{1-d\left(r_i\right)}---\left(3\right)$(9)对步骤2得到的区域集合中的每一个区域r_i(i＝1～n)，结合步骤4得到的法向图N，计算区域r_i的法向量均值作为该区域的法向量n(r_i)，进而计算方向先验图S_op，S_op图像中区域r_i的取值描述如下：S_op(r_i)＝<z,n(r_i)>  (4)其中z表示沿着光轴方向的单位矢量，<·>表示向量的内积运算；(10)结合步骤7,8,9得到的区域对比度图S_rc、深度先验图S_dp和方向先验图S_op，计算得到融合先验信息的对比度图S_irc，其描述如下：S_irc＝S_rc·S_dp·S_op  (5)(11)对步骤2得到的区域集合中的每一个区域r_i(i＝1～n),以步骤10中的得到的融合先验信息的对比度图S_irc作为区域显著度的初始值，进行法向内积加权的网页排名(PageRank)算法，得到更新后的显著度值S_pr，其描述如下：$S_{\mathrm{pr}}\left(r_i\right)=\underset{j\&Element;N\left(i\right)}{\mathrm{\&Sigma;}}\frac{\&lt;n\left(r_i\right),n\left(r_j\right)>S_{\mathrm{irc}}\left(R_J\right)}{\underset{K\&Element;N\left(j\right)}{\mathrm{\&Sigma;}}\&lt;n\left(r_k\right),n\left(r_j\right)>}---\left(6\right)$其中N(i)表示与区域r_i邻接的区域的标号集合；(12)将步骤11得到的更新后的显著度值按照区域标号排序，组成列向量S_pr＝[S_pr(r₁),S_pr(r₂),…,,S_pr(r_n)]^T，构建基于马尔科夫随机场模型的图像恢复优化问题，并用最小二乘算法求解；优化问题描述如下：$S^{*}=\arg \underset{s}{\min }{\left|\right|\mathrm{MS}-{\mathrm{MS}}_{\mathrm{pr}}\left|\right|}_2^2+\mathrm{\&alpha;}\underset{i,j\&Element;N\left(i\right)}{\mathrm{\&Sigma;}}\exp (-{\left|\right|f_i-f_j\left|\right|}_2^2/{\mathrm{\&sigma;}}_f^2){\left|\right|S_i-S_j\left|\right|}_2^2---\left(7\right)$其中M表示采样矩阵，对S_pr中数值大小为前t％和后t％的元素所在位置进行采样,S_i表示向量S中第i个元素，S^*为最后的优化结果；其中，t,α和σ_f取值由用户设定；(13)将步骤12得到的优化结果S^*中第i个元素的数值作为区域r_i的显著性值，将显著性值归一化并平方之后得到显著性图像；(14)对显著性图像进行中心偏移运算，得到最终的显著性图像。