[发明专利]一种基于相机阵列选择性光场重聚焦的显著性检测方法

权利要求书

1.一种基于相机阵列选择性光场重聚焦的显著性检测方法，其特征在于包括下列步骤：

1.1获取视点图像数据集，选择Stanford光场数据集和4D光场数据集；

1.2视差估计，采用RGDP算法对相机阵列进行视差估计，得到视差图；

1.3超分辨率重建，建立摄像机阵列的退化模型：

y_k＝DHF_i,kx+n_k (1)

其中：y_k表示第k个相机捕获的子图像；x表示高分辨率图像；n_k表示间域附加噪声；D、H和F_i,k分别表示下采样、光学模糊和位移；超分辨率重建主要是估计x以适应退化模型，即最小化下列方程：

其中：第一项表示观测值与理想高分辨率图像间的距离；w_b是基于深度和空间变化的权重向量；⊙表示数量积运算符；J_b(x)为bokeh正则化项；J_BTV(x)为双边总变异BTV正则化项；λ_b和λ_BTV为正则化系数；J_b(x)可表示为：

其中：x_b为bokeh图像，由bokeh渲染生成；使用梯度下降法逼近最优解，步长和迭代次数均可设置；

1.4bokeh渲染，采用基于深度的各向异性滤波器对未聚焦区域进行渲染，通过调节其中参数可实现对场景中某一深度层进行聚焦，而对其他深度层产生不同程度的模糊；

假设p点没有被聚焦，其对应的混叠圆半径r为：

其中：γ_f和γ_p分别表示焦距深度和p点深度；f表示焦距；F为透镜的F数；深度γ可表示为γ＝fB/d，其中B为基线长度，d为视差；那么公式(4)可表示为：

在bokeh渲染过程中f、F、B和d_f是固定不变的，那么p点的混叠圆半径r与p点和焦点之间的绝对视差成正比；将K＝f/2F(B-d_f)作为bokeh渲染的强度，代表整体的bokeh程度，同时反映场景深度，K越大表示bokeh程度越强，景深越小；

假设Q点周围存在多个以P_i为中心的混叠圆，由于混叠圆中强度是均匀分布的，那么计算P_i对Q的贡献可通过其中为P_i点bokeh渲染前的强度；为以P_i为中心的混叠圆的半径；为P_i与Q之间的距离；那么Q点强度可表示为：

其中：表示Q点周围点的集合；r_max是图像中混叠圆半径的最大值；由于Ω_Q中的某些点可能对Q点没有作用，所以将权值定义为：

各向异性滤波器基于公式(6)、(7)，使用双三次插值渲染中心视点图像生成bokehimage x_b；

另外还需要对步骤1.3中公式(2)、(3)中的w_b进行计算，一幅图像的模糊程度由混叠圆半径决定，那么可通过以下两个步骤计算w_b：

第一步：通过η_P＝(r_P-r_min)/(r_max-r_min)将半径归一化至[0,1],r_min为图像中混叠圆半径的最小值；

第二步：将η_P分为focus和bokeh两部分，使用sigmoid函数将η_P转化为w_P：

w_P＝1/(1+exp{-a(η_P-b)}) (8)

其中：a为衰减因子；b为阈值；遍历所有像素点，重排序w_P得到向量w_b；

1.5显著性检测，首先采用SLIC算法对重聚焦后的图像进行超像素分割；然后，构建图模型G＝(V,E)，其中V＝{v₁,...,v_n}为超像素点集，为边集，对其增加以下三条规则：

其中：表示v_i的直接空间邻居；B表示图像边缘处边框节点的集合；表示v_i在LabColor Space的分簇，由APC算法计算而来；那么规则1连接了v_i和其几何邻居以及邻居的邻居，规则2连接边界节点，规则3连接了v_i和与其颜色相似的节点；定义边权值矩阵W＝(w_ij)_n×n表示图节点相似度，图节点v_i与v_j之间的权值项定义为：

其中：δ为控制权重强度的一个常数，第一项||c_i-c_j||表示v_i与v_j在Lab Color Space的欧式距离，第二项||sin(π|d_i-d_j|)||表示在正弦空间下计算的几何距离；

接着分两个阶段生成并细化显著图，首先采用DSMR算法进行基于变形平滑的标签传播，DSMR算法的目标是关于表示向量z＝(z_i)_n计算一个排序向量f＝(f_i)_n，如果v_i是种子节点，则z_i＝1，否则z_i＝0，可通过下式来计算：

其中：度矩阵式(11)中第一项为变形平滑约束，其中结合了标准平滑和局部平滑约束，表明相邻两节点的排序值不应该变化太大，μ₂用于平衡两个光滑约束的权重，第二项R(f)＝(f-D^-1z)^TD(f-D^-1z)为标签适应度约束，保证种子节点的排序值与其初始值相差不大，μ₁用于平衡变形平滑约束S^D(f)和标签适应度约束R(f)；令式(11)导数为0可得f＝(f_i)_n的最优解：

其中：α＝1/(1+μ₁)；β＝μ₂/(1+μ₁)；分别将上边界节点、下边界节点、左边界节点、右边界节点作为种子节点得到四个排序向量结果f(T)，f(V)，f(L),f(R),将四个传播结果结合起来生成粗图

其中：是f归一化至[0,1]区间的向量；

虽然M^c中大部分显著性区域已被高亮，但仍受到来自背景噪声的影响；第二阶段，对上一阶段得到的显著图进行细化；首先，采用边界盒生成包含目标区域排除背景区域的目标图

其中：R_j为边界框Ω_j的分数；δ是指示函数，表示v_i是否在边框内；B为边界盒生成的边框数量；结合M^c和M^o细化模型，细化结果g通过求解下式而来：

其中：表示对角矩阵；D^c、v^c分别是M^c的度矩阵和体积；为在M^c上计算的新权值矩阵：

式(15)中：第一项为变形平滑约束，保证显著性值连续，第二项||g-M^c||²为标签适应度约束，保证细化的结果g与粗图M^c相差不大，第三项g^TD^og是通过M^o构建的正则化约束，抑制不属于目标的背景区域，增强可能属于目标的区域；令式(14)导数为0得最优解g：

将最优解g归一化至[0,1]区间，赋值给对应的超像素，生成精细显著图M^r，即为最终可选择性的显著性检测的结果。