[发明专利]一种基于光场相机的多线索显著性提取方法

摘要

本发明公开了一种基于光场相机的多线索显著性提取方法，包括：1利用Lytro光场相机采集真实场景中的五维光场数据，获取光场全聚焦图像、深度图像、焦点堆栈图像序列和多视角图像序列；2对全聚焦图像进行超像素分割，在不同光场图像上提取超像素对之间的色彩、位置和深度差异特征；3分别提取相邻焦平面图像和相邻视角图像的平均光流特征，计算聚焦流差异特征和视角流差异特征；4将色彩、深度、聚焦流和视角流差异特征加权求和，并将位置差异特征作为权重，获得多线索初始显著结果；5优化初始显著结果，获取光场相机的多线索显著性。本发明能解决当前二维或三维显著性提取方法无法获取和使用视觉多线索的缺陷，有效提高复杂多变场景下的图像显著性提取的精度。

主权项

1.一种基于光场相机的多线索显著性提取方法，所述光场相机包括一个主透镜、一个微透镜阵列和一个成像传感器；其特征是，所述多线索显著性提取方法是按如下步骤进行：步骤1、利用光场相机采集真实场景的五维光场数据集，记为L＝{L₁,L₂,…,L_n,…,L_N}；L_n表示第n个五维光场数据，且L_n＝(x,y,s,t,λ)；x和y分别表示所述成像传感器像平面的空间分辨率；s和t分别表示所述微透镜阵列像平面的角度分辨率；λ为波长；1≤n≤N；步骤2、从所述第n个五维光场数据L_n中获取光场多线索图像，包括第n个光场焦点堆栈图像序列F_n＝{F_1n,F_2n,…,F_kn,…,F_Kn}、第n个光场全聚焦图像I_n(x,y)、第n个光场深度图像D_n(x,y)和第n个光场多视角图像序列H_n＝{H_1n,H_2n,…,H_qn,…,H_Qn}；其中，F_kn表示第n个五维光场数据L_n中第k个焦平面图像；H_qn表示第n个五维光场数据L_n中第q个视角图像；1≤k≤K；1≤q≤Q；步骤3、提取所述第n个光场全聚焦图像I_n(x,y)中的超像素，并计算任意超像素对之间的色彩差异特征3.1、利用简单线性迭代聚类算法对所述第n个光场全聚焦图像I_n(x,y)进行超像素分割，获得一组超像素，记为sp_n＝{sp_1n,sp_2n,…,sp_in,…,sp_Mn}，1≤i≤M；M表示所述第n个光场全聚焦图像I_n(x,y)的超像素个数；其中sp_in表示所述第n个光场全聚焦图像I_n(x,y)中第i个超像素；且p_rin表示所述第n个光场全聚焦图像I_n(x,y)中第i个超像素中的第r个像素，且R_i表示所述第n个光场全聚焦图像I_n(x,y)中第i个超像素所包含的像素个数；3.2、将所述第n个光场全聚焦图像I_n(x,y)所在的RGB彩色空间转换到CIE Lab彩色空间后，计算第i个超像素sp_in在亮度L、红绿对立色a和蓝黄对立色b三个色彩通道上的均值，从而构成所述第i个超像素sp_in的光场色彩特征3.3、利用式(1)计算第i个超像素sp_in和第j个超像素sp_jn之间的色彩差异特征1≤j≤M；步骤4、计算所述第n个光场全聚焦图像I_n(x,y)中任意超像素对之间的位置差异特征4.1、利用式(2)计算第i个超像素sp_in在所述第n个光场全聚焦图像I_n(x,y)中的空间归一化中心位置特征式(2)中：和分别为第i个超像素sp_in中所有像素在所述成像传感器像平面中的横坐标均值和纵坐标均值；4.2、利用式(3)计算第i个超像素sp_in和第j个超像素sp_jn之间的中心位置差异特征式(3)中：σ^c为高斯函数的空间权重；4.3、利用基于聚焦信息的背景先验建模算法，从第n个光场焦点堆栈图像序列F_n中选取具有最大背景似然分数的焦平面图像计算所述具有最大背景似然分数的焦平面图像所对应的一组超像素中第i个超像素sp_in的背景概率4.4、利用式(4)计算所述第n个光场全聚焦图像I_n(x,y)的质心与第i个超像素sp_in的空间归一化中心位置之间的距离d_in：4.5、利用式(5)计算所述第n个光场全聚焦图像I_n(x,y)中第i个超像素sp_in的区域位置特征式(6)中：σ^bg为另一个高斯函数的空间权重；4.6、利用式(6)计算所述第n个光场全聚焦图像I_n(x,y)中第i个超像素sp_in和第j个超像素sp_jn之间的位置差异特征式(6)中，表示向量的外积；步骤5、计算所述第n个光场深度图像D_n(x,y)中任意超像素对之间的深度差异特征5.1、计算第i个超像素sp_in在所述第n个光场深度图像D_n(x,y)上的均值，从而获得所述第i个超像素sp_in的光场深度特征5.2、利用式(7)计算第i个超像素sp_in和第j个超像素sp_jn之间的深度差异特征步骤6、计算所述第n个光场焦点堆栈图像序列F_n中任意超像素对之间的聚焦流差异特征6.1、利用光流算法提取所述第n个光场焦点堆栈图像序列F_n中第k个焦平面图像F_kn与第k+1个焦平面图像F_(k+1)n之间的聚焦流水平特征和聚焦流垂直特征6.2、利用式(8)计算所述聚焦流水平特征和聚焦流垂直特征的振幅6.3、利用式(9)计算第n个光场焦点堆栈图像序列F_n中所有相邻焦平面图像之间的聚焦流特征均值6.4、计算第i个超像素sp_in在所述聚焦流特征均值上的均值，从而获得所述第i个超像素sp_in的光场聚焦流特征6.5、利用式(10)计算所述第n个光场焦点堆栈图像序列F_n中第i个超像素sp_in和第j个超像素sp_jn之间的聚焦流差异特征步骤7、计算所述第n个光场多视角图像序列H_n中任意超像素对之间的视角流差异特征7.1、利用光流算法提取第n个光场多视角图像序列H_n中第q个视角图像H_qn与第q+1个视角图像H_(q+1)n的视角流水平特征和视角流垂直特征7.2、利用式(11)计算所述视角流水平特征和视角流垂直特征的振幅7.3、利用式(12)计算第n个光场多视角图像序列Η_n中所有相邻视角图像之间的视角流特征均值7.4、计算第i个超像素sp_in在所述视角流特征均值上的均值，从而获得所述第i个超像素sp_in的光场视角流特征7.5、利用式(13)计算第n个光场多视角图像序列H_n中第i个超像素sp_in和第j个超像素sp_jn之间的视角流差异特征步骤8、利用式(14)计算所述第n个光场中第i个超像素sp_in的多线索初始显著结果S_in；式(14)中：⊙表示向量的内积；为第i个超像素sp_in和第j个超像素sp_jn之间视觉线索的特征差异，为第n个光场中第i个超像素sp_in和第j个超像素sp_jn之间线索的权重；为全局归一化算子，并有：步骤9、优化所述多线索初始显著结果S_in；9.1、利用基于非线性最小二乘回归的显著性优化算法，对所述多线索初始显著结果S_in进行优化，获得第一次优化显著结果S′_in；9.2、利用基于无向图正则化的显著性优化算法，对所述第一次优化显著结果S′_in进行优化，获得第二次优化显著结果S″_in；9.3、利用式(15)计算两次优化后的归一化显著结果