[发明专利]用于估计像素的深度的方法、对应的设备以及计算机程序产品

说明书

提出了一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法。该方法包括至少针对在M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，该处理包括：‑确定N个图像的集合中的图像的深度图，以提供N个深度图的集合；以及‑对于N个图像的集合的当前图像中的至少一个当前像素：‑确定N个深度图的集合的深度图中与当前像素相关联的深度值所对应的候选深度是否与N个深度图的集合中的其他深度图一致；以及‑如果候选深度被确定为与N个深度图的集合中的其他深度图一致，则选择候选深度作为当前像素的估计深度。该处理被迭代地执行，处理的每一次新的迭代都以新的N值执行，新的N值低于处理的先前迭代中使用的先前的N值。

技术领域

本公开一般涉及光场(LF)内容(例如LF图像或视频)领域。

更具体地，本公开涉及用于估计属于LF内容中的图像的像素的深度的方法。

在使用LF捕获的任何领域中，对于专业人员和消费者来说，本公开都是感兴趣的。

背景技术

LF内容包括以下两者之一：

-全景视频，也称为基于微透镜的视频，即在视频中，其中属于图像矩阵的图像是子孔径图像，所述子孔径图像是从使用主透镜系统之外的微透镜阵列的单个相机(例如全景相机)同时捕获的；或

-多视点视频，即在视频中，其中属于图像矩阵的图像是从多个相机角度同时捕获的，通常使用由多个相机组成的相机阵列(也称为相机组)。

LF内容中的像素的深度估计绝大部分时间减少到基于从两个不同视点捕获相同场景的至少两个视图的可用性、对属于通常用于确定这种深度的已知技术(例如匹配技术)的LF内容的每个视图的复制。

然而，基于使用两个不同视图的方法无法给出可靠的结果，例如在发生遮挡的特定情况下。实际上，在这种情况下，由给定视点捕获的场景的一部分可能没有被另一个视点捕获。在这种情况下，无法确定深度，或者通过此类已知算法返回异常值。

已经提出了一些提议，用于使用LF内容中最大数量的可用视点以便在深度估计中获得更可靠的结果(例如，当发生遮挡时)，如H.Zhu，Q.Wang和J.Yu在IEEE《信号处理精选主题期刊》第11卷第7期第965-978页，2017年10月的论文“光场中遮挡模型引导的抗遮挡深度估计”。然而，这种方法仍然可以被改进。

因此，需要一种方法，该方法利用与LF内容中的不同视点相关的信息来估计具有强制一致性的像素的深度，特别是在存在遮挡的情况下。

还需要有这样的方法，其允许估计的深度具有高质量。

发明内容

本公开涉及一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法，其中M＞2。这种方法包括至少对于在所述M个图像中取出的N个图像的一个集合实施一种处理，2＜N≤M，所述处理包括：

-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及

-对于所述N个图像的集合的当前图像中的至少一个当前像素：

-确定与所述N个深度图的集合的深度图中的所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及

-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。

所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。