[发明专利]一种光场图像深度估计方法

说明书

本发明公开了一种光场图像深度估计方法，包括：利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项；采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差；通过基于光流的方法对所述视差进行插值处理，最后利用光场图像特点得到的深度估计结果作为马尔科夫随机域框架中对全局深度进行优化的能量函数数据项；考虑存在遮挡时遮挡区域会影响对象边界深度估计，将遮挡区域预测器与能量函数平滑项相结合，有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。

技术领域

本发明涉及图像处理以及立体视觉技术领域，尤其涉及一种针对光场图像的深度估计方法。

背景技术

近年来，光场成像技术作为一种真三维立体显示技术，取得了快速发展。由于光场成像的特殊成像原理，即光场成像设备可以同时记录空间中的光线位置与角度信号，使得景深调节、视点变换以及先拍摄后聚焦成为可能。光场相机由主镜头、透镜阵列和成像传感器组成，通过一次曝光可以获取拍摄场景的三维信息。同时，光场相机还具有还原拍摄场景深度信息的能力，从而使得立体视觉成像系统的结构更加简洁，简化了场景深度信息的获取过程。因此，针对光场相机获取的光场图像进行深度估计技术具有重要的理论研究和实际应用价值。

长久以来，深度估计一直是计算机视觉领域关注的重点之一。针对人类视觉系统中不同的深度线索(如视差、模糊、阴影、以及纹理等)，研究人员提出了不同的场景深度估计方法。但是，大多数深度估计方法仍依赖视差线索。在此基础上，基于区域和特征的匹配方法更是图像深度估计中的经典方法。目前，结合场景分割理论和全局优化理论，基于视差线索的方法获得较高的深度估计精度。但是，现有视差法仍存在深度估计过程不鲁棒的问题。一个原因是自然场景的复杂性，如遮挡、重复纹理、以及深度不连续等情况。另一个原因是采集系统对场景采样的视角不足、信噪比低，如传统双目或多目系统视点较少、普遍存在图像噪声与模糊。

由于光场采集系统提供的视点较多、数据集包含的光线角度采样信息量较大，这些特点为高质量的视差估计提供了数据保证。Wanner等采用结构张量在二维光场外极面图像(Epipolar Plane Image，EPI)上计算像素匹配方向以实现对场景的深度估计。Yu等针对便携式光场相机数据提出了对遮挡鲁棒的迭代深度估计方法，通过求解不同子视点图像的匹配关系实现了深度估计。之后，Yu等又提出了一种基于约束Delaunay三角化的光场图像分割方法，并采用基于直线约束的全局优化方法求取场景深度。Suzuki等提出一种考虑视差信息的深度获取方法，在EPI结构张量分析之前引入剪切值进行剪切变换，再对置信图进行平滑处理，进而通过积分得到最终的视差图。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的光场图像深度估计方法，无法均衡地对主要对象和背景进行深度估计，需要平衡对象边界深度估计锐化、对象内部的深度变化区域过渡过于突兀、以及背景深度估计不准确等情况。

发明内容

本发明提供了一种光场图像深度估计方法，本发明考虑了立体匹配和光场结构特性，设计了一种针对光场图像深度估计的优化模型，实现对光场图像准确深度估计、同时有效平衡深度边界锐化，避免背景估计不准确的现象，详见下文描述：

一种光场图像深度估计方法，所述方法包括以下步骤：

利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；

利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项；

采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差；