[发明专利]用于使用深度图信息的多视图像生成的装置和方法

说明书

技术领域

本公开的实施例一般涉及图像处理系统，尤其涉及用于执行多视图像生成的方法和装置。

背景技术

图像捕捉和/或视频记录设备是目前全球消费电子市场的重要组成部分。这种设备的广泛使用揭示出各种缺陷。例如，这些设备仅将图像和/或视频帧存储为场景的二维表示。即使提供了深度图(depth map)，没有巨大的处理能力和存储容量，三维表示也无法被渲染和观看。为了节约资源，目前的技术因此使这些设备限于捕捉描绘场景的少数几个可能视图(view)之一的图像。

被设计成处理和存储多视图像的系统导致伪影(artifact)。伪影一般包括由过度强烈的或不当地损耗数据的压缩算法的应用造成的媒体(例如，图像、音频和/或视频)的显著失真。当这种图像被接收时，图像的逐块解码被执行以重构被传输的图像。各个图像块的量化必然与可能导致重构期间块边界处的可见边缘的信息损失相关联。当与大量化参数相对应的很粗糙的量化被提供时，这些伪影可能尤其显著。

因此，本领域需要一种用于使用深度图信息并产生较少伪影的多视图像生成的装置和方法。

发明内容

本公开的各种实施例一般包括用于使用深度图信息的多视图像生成的装置和方法。根据一个实施例，用于执行使用深度图信息的多视图像生成的计算机实现的方法包括使用来自映射到投影像素位置的物理像素位置的值将输入图像和输入深度图转换成投影图像和投影深度图，其中所述投影图像和投影深度图与输入图像的特定视图相关联，修复投影图像和投影深度图，以及使用经修复的投影图像和经修复的投影深度图来产生所述特定视图的方向上的输出图像。

附图说明

所以，参考实施例可以得到上面概述的发明的更具体描述并以详细的方式理解以上记载的本发明的特征，某些实施例在附图中被例示。然而，应该注意，附图仅例示了本发明的典型实施例，因此不应被理解为限制其范围，因为本发明承认其他等效的实施例。

图1是例示了根据至少一个实施例的用于执行使用深度图信息的多视图像生成的设备的框图；

图2是例示了根据至少一个实施例的用于捕捉多视输出图像的相机的功能框图；

图3是例示了根据至少一个实施例的用于执行使用深度图信息的多视图像生成的图像处理器的功能框图；

图4是例示了根据至少一个实施例的用于修复至少一个图像和至少一个深度图的修复模块的功能框图；

图5是例示了根据至少一个实施例的用于执行使用深度图信息的多视图像生成的方法的流程图；

图6A和图6B是例示了根据至少一个实施例的用于使用输入图像和输入深度图来执行从左眼图像和左眼深度图到右眼图像和右眼深度图的三维投影的方法的流程图；

图7是例示了根据至少一个实施例的用于修复深度图的方法的流程图；

图8是例示了根据至少一个实施例的用于修复投影图像的方法的流程图；

图9是例示了根据至少一个实施例的用于执行投影图像上的三维遮蔽(occlusion)修复的方法的流程图；

图10描绘了根据至少一个实施例的特定视图中的三维投影；

图11描绘了根据至少一个实施例的特定视图的右眼；

图12描绘了根据至少一个实施例的特定视图的左眼；

图13描绘了根据至少一个实施例的使用像素的物理位置的从输入图像到投影图像的前向投影；

图14描绘了根据至少一个实施例的投影图像中的像素的亮度和深度插值；并且

图15描绘了根据至少一个实施例的将被修复的图像的图形表示。

具体实施方式

图1例示了根据至少一个实施例的用于使用深度图信息的多视图像生成的设备100。设备100是一种包含中央处理单元(CPU)102、支持电路104和存储器106的计算设备(例如，笔记本、相机、台式机、服务器、移动设备、多媒体记录设备等)。CPU 102包含市场上可买到的、辅助数据处理和存储的一个或多个微处理器或微控制器。支持电路104辅助CPU102的操作并包括时钟电路、总线、电源、输入/输出电路等。存储器106包括只读存储器、随机存取存储器、盘驱动存储装置、光存储装置、可移除存储装置等。