[发明专利]跨尺度分辨率的光场图像超分辨率及深度估计方法及装置

权利要求书

1.一种跨尺度分辨率的光场图像超分辨率及深度估计方法，其特征在于，包括以下步骤：

通过单张图像超分辨率SISR方法对位于低分辨率视角的光场图像进行上采样；

将位于中间视角的高分辨率图像下采样后，利用所述SISR方法进行上采样，并获取误差图；

获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得所述视差图估计无法估计到的区域进行重新估计；

利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；以及

根据所述超分辨率后的光场图像进行场景的深度估计，获取深度估计结果；

其中，所述获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，进一步包括：通过十字模型估算方法得到光场中心位置与任意位置视差图；通过全局优化过程得到所述视差图，以避免所述光场中遮挡因素造成的部分区域估计误差；

所述进行补洞操作，进一步包括：利用孔洞周边邻域信息对孔洞进行补充，补充公式为：

其中，f为邻域像素值，ω为权值，i为当前待补洞位置的横坐标，j为当前待补洞位置的纵坐标，k为位于其窗口邻域位置的横坐标，l为位于其窗口邻域位置的纵坐标；

其中，利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建，包括：利用优化后的视差图对所述误差图传递到光场每个视角当中，以得到所述每个视角下的缺失的高频细节信息，即：

D^S＝f_warping(D^R)，

其中，D^S为该视角下的高频细节信息，D^R为所述误差图；

所述根据所述超分辨率后的光场图像进行场景的深度估计，进一步包括：将重建后的的高分辨率光场图像利用深度信息对场景深度进行估计；

利用位于中心视角的高分辨率图像对SISR方法丢失的高频细节部分进行推断；

将经过所述SISR方法得到的图像与高频细节信息D^S相加，得到最终期望的输出：

并利用高分辨率光场图像进行场景的深度估计。

2.一种跨尺度分辨率的光场图像超分辨率及深度估计装置，其特征在于，包括：

采样模块，用于通过单张图像超分辨率SISR方法对位于低分辨率视角的光场图像进行上采样；

获取模块，用于将位于中间视角的高分辨率图像下采样后，利用所述SISR方法进行上采样，并获取误差图；

优化模块，用于获取光场中所述高分辨率图像与上采样后的图像的视差图并利用光场固有属性对视差图进行全局优化，同时进行补洞操作，使得所述视差图估计无法估计到的区域进行重新估计；

重建模块，用于利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建；以及

估计模块，用于根据所述超分辨率后的光场图像进行场景的深度估计，获取深度估计结果；

其中，所述优化模块，进一步包括：通过十字模型估算方法得到光场中心位置与任意位置视差图；通过全局优化过程得到所述视差图，以避免所述光场中遮挡因素造成的部分区域估计误差；

所述进行补洞操作，进一步包括：利用孔洞周边邻域信息对孔洞进行补充，补充公式为：

其中，f为邻域像素值，ω为权值，i为当前待补洞位置的横坐标，j为当前待补洞位置的纵坐标，k为位于其窗口邻域位置的横坐标，l为位于其窗口邻域位置的纵坐标；

其中，利用全局视差图对所述误差图进行传递，使得图像恢复高分辨率信息，以实现光场的超分辨率重建，包括：

利用优化后的视差图对所述误差图传递到光场每个视角当中，以得到所述每个视角下的缺失的高频细节信息，即：

D^S＝f_warping(D^R)，

其中，D^S为该视角下的高频细节信息，D^R为所述误差图；

所述根据所述超分辨率后的光场图像进行场景的深度估计，进一步包括：将重建后的的高分辨率光场图像利用深度信息对场景深度进行估计；

利用位于中心视角的高分辨率图像对SISR方法丢失的高频细节部分进行推断；

将经过所述SISR方法得到的图像与高频细节信息D^S相加，得到最终期望的输出：

并利用高分辨率光场图像进行场景的深度估计。