[发明专利]图像处理设备及图像处理方法

说明书

技术领域

本公开涉及图像处理设备和图像处理方法，更具体地涉及使得能够以小的计算量高精度生成不同视点的视差图像的图像处理设备和图像处理方法。

背景技术

近来被称为光场相机等的成像设备受到关注。这样的成像设备通过成像单元获得视点的捕获图像，根据捕获图像生成虚拟视点的捕获图像(视图插值)，以及使用这些捕获图像生成虚拟焦点等的捕获图像(例如参见专利文献1)。

这样的成像设备以如下方式生成虚拟视点的图像：通过生成与视点的捕获图像对应的视差图像(深度图)，根据所述捕获图像使用相应视点的视差图像生成虚拟视点的捕获图像(图像配准)，以及将所述捕获图像进行组合。因此，为了生成虚拟视点的高精度捕获图像，生成具有高精度的视差图像是必要的。应当注意，视差图像是具有作为捕获图像中的相应像素的视差值的像素值的图像。在此，位于较远侧的对象的图像具有较小的视差值，而位于较近侧的对象的图像具有较大的视差值。

引用列表

专利文献

专利文献1：JP 4706882 B2

发明内容

本发明要解决的问题

生成视点的视差图像的方法可以是如下方法：根据作为用作参考的单个视点的参考视点的捕获图像生成视差图像，并且根据所生成的视差图像估计除参考视点之外的视点的视差图像。

然而，通过该方法，例如在参考视点的捕获图像中出现遮挡时，不能精确地估计参考视点的遮挡区域的视差值，从而不能生成除参考视点之外的视点的具有高精度的视差图像。应当注意，在本说明书中，参考视点的遮挡区域表示从参考视点不能观看到但是从除参考视点之外的视点能够观看到的区域。

可替选地，生成视点的视差图像的方法可以为如下方法：根据每个视点的捕获图像生成视差图像。通过该方法，能够生成高精度的视差图像，但是需要巨大的计算量。

本公开鉴于上述情形做出，本公开使得能够以小的计算量高精度生成不同视点的视差图像。

问题的解决方案

根据本公开的第一方面的图像处理设备是如下图像处理设备，其包括：计算单元，该计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。

根据本公开的第一方面的图像处理方法与根据本公开的第一方面的图像处理设备兼容。

在本公开的第一方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值，以及基于相关性值来生成由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，作为参考视点的不同层级的视差图像，所述参考视点为所述多对视点之一。

根据本公开的第二方面的图像处理设备是如下图像处理设备，其包括：计算单元，所述计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。

根据本公开的第二方面的图像处理方法与根据本公开的第二方面的图像处理设备兼容。

在本公开的第二方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。

根据本公开的第一方面和第二方面的图像处理设备还可以通过使计算机执行程序来实现。

此外，为了实现根据本公开的第一方面和第二方面的图像处理设备，待由计算机执行的程序可以通过传输介质传输并提供，或者可以提供记录在记录介质上的程序。

本发明的效果

根据本公开，能够以小的计算量生成不同视点的高精度视差图像。

附图说明

图1是示出了作为应用本公开的图像处理设备的成像设备的实施例的示例结构的框图。

图2是成像阵列的示例结构的透视图。

图3是示出了检测单元的示例结构的框图。