[发明专利]一种基于深度的光场拼接方法

说明书

本发明公开了一种基于深度的光场拼接方法，包括：输入待拼接的光场以及该光场的子孔径图像，对光场的子孔径图像进行光场深度估计得到光场的深度图；提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对，对特征点对进行筛选得到匹配特征点对；将待拼接的光场进行4D网格化，根据匹配特征点对预测全局单应性变换矩阵；并根据特征点与网格中心点的深度和位置关系建立权值矩阵；再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵，并根据光场中每个网格的最优单应性变换矩阵映射光场对光场进行融合，得到光场拼接结果。本发明解决了较大视差变化造成结果错位和重影的问题，实现了精确的视差容忍的光场拼接方法。

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于深度的光场拼接方法。

背景技术

光场成像通过在主透镜和传感器中间加入一个微透镜阵列，记录了来自各个方向的光线信息，从而得到完整信息的光辐射场。随着光学传感器的分辨率持续上升和光场相机逐步市场化，光场成像技术的实用价值变得越来越高。相比于传统的数码相机，基于微透镜阵列的光场相机由于可以同时记录三维场景的空间位置信息和方向信息，因此基于该光场相机采集到的光场数据有着广泛的应用，如重聚焦、深度估计、显著性检验等等。然而由于光学结构的限制，手持式全光相机的视场角较小。不依赖于光场结构设置的光场拼接方法可以提高光场相机的视场角。

现有的光场拼接方法主要是通过特征提取和匹配的方法，计算相邻输入光场间的变换矩阵，进行光场配准，通过构造配准后光场重叠区域的能量损失函数来寻找光场的最优缝合线，实现光场融合；这种方法存在一定的局限性，虽然其可以实现视差较小的光场拼接，一旦输入光场数据视差变化较大，将会产生错位，重影等错误，无法得到正确的拼接结果。

另外一种方法是利用结合视差容忍的图像拼接方法来减小视差对拼接结果带来的影响，这种方式在一定程度上提高了拼接的精确度，但是不能完全抵消视差带来的影响，且单独对光场相应子孔径图像进行图像拼接会引入整个光场在空间域和角度域不一致的问题。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为了解决上述技术问题，本发明提出一种基于深度的光场拼接方法，解决了较大视差变化造成结果错位和重影的问题，实现了精确的视差容忍的光场拼接方法。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于深度的光场拼接方法，包括以下步骤：

A1：输入待拼接的光场以及该光场的子孔径图像，对光场的子孔径图像进行光场深度估计得到光场的深度图；

A2：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对，对特征点对进行筛选得到匹配特征点对；

A3：将待拼接的光场进行4D网格化，根据匹配特征点对预测全局单应性变换矩阵；并根据特征点与网格中心点的深度和位置关系建立权值矩阵；再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵，并根据光场中每个网格的最优单应性变换矩阵映射光场；

A4：对光场进行融合，得到光场拼接结果。

进一步地，步骤A2具体包括：

A21：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对；

A22：对所述深度图进行特征聚类得到光场的深度层次图；

A23：根据深度层次图对特征点对进行分组，分别对各组的特征点对进行筛选，合并筛选后的特征点对得到匹配特征点对。

进一步地，步骤A3中具体包括：