[发明专利]图像生成装置及其方法

说明书

一种装置包括确定器(305)，所述确定器确定第一眼观看姿势和第二眼观看姿势。接收器(301)接收具有相关联的深度值的参考第一眼图像和具有相关联的深度值的参考第二眼图像，所述参考第一眼图像是针对第一眼参考姿势的，并且所述参考第二眼图像是针对第二眼参考姿势的。深度处理器(311)确定参考深度值，并且修改器(307)通过将接收到的深度值与参考深度值之间的差异减小取决于第二或第一眼观看姿势与第二或第一眼参考姿势之间的差异的量来生成经修改的深度值。合成器(303)基于经修改的深度值通过对参考第一眼图像进行视图移位来合成针对第一眼观看姿势的输出第一眼图像并且通过对参考第二眼图像进行视图移位来合成针对第二眼观看姿势的输出第二眼图像。术语第一和第二可以分别由左和右代替，反之亦然。例如，术语第一眼观看姿势、第二眼观看姿势、参考第一眼图像和参考第二眼图像可以分别由左眼观看姿势、右眼观看姿势、参考左眼图像和参考右眼图像代替。

技术领域

本发明涉及根据第一眼和第二眼图像以及相关联的深度的图像生成，并且特别但非排他地涉及用于例如受限的虚拟现实应用和服务的图像生成。

背景技术

近年来，随着不断开发和引入新的服务以及利用和消费视频的方式，图像和视频应用的种类和范围已大大增加。

例如，一种越来越流行的服务是以这样的方式提供图像序列：观看者能够主动地和动态地与系统交互以改变绘制的参数。在许多应用中，非常吸引人的特征是改变观看者的有效观看位置和观看方向(观看姿势)的能力，这例如允许观看者在呈现的场景中移动并“环顾四周”。这样的特征可以具体地使得能够向用户提供虚拟现实体验。

对于许多应用还期望被呈现的图像是三维图像。实际上，为了优化观看者的沉浸感，通常优选的是，用户将呈现的场景体验为三维场景。

支持基于(尤其是三维)场景表示的各种服务的主要问题是需要大量数据。这导致高资源要求，例如对大型存储资源的需要。然而，在许多情形中，最大的限制不是存储或处理要求，而是通信要求。如果要求表示场景的数据必须通过带宽受限的通信通道(无论是内部还是外部)进行传递，则高度期望尝试减小需要被传递的数据量。

例如，在许多情形中并且对于许多应用，可以使用客户端服务器方法，其中，执行例如虚拟现实应用的远程客户端被耦合到中央服务，该中央服务通过带宽受限的链路提供所需的场景数据。

特定的建议服务试图通过允许适于用户的移动的3D体验来提供受限的虚拟现实体验，只要用户的移动小并且与给定参考点相差不太远。例如，可以为给定的虚拟视点提供场景的3D体验，该体验适于在基本停留在同一地点时进行较小的头部移动的用户。例如，该服务可以提供一种体验，其中，绘制的3D视图跟随诸如点头或摇头的移动，但是如果用户将他的头部基本移到侧面则不跟随。只要用户的眼睛保持在小的最佳位点(sweet spot)内，服务就可以提供完整的3D体验。对于每只眼睛，该最佳位点能够具有仅几厘米的范围。

在捕获和传递的数据两者方面，这样的方法能够允许基于有限数据量来提供高质量的3D体验。通常，可以将具有相关联的深度图的左眼图像和右眼图像提供给本地绘制器。然后，对于非常接近标称位置(在其最佳位点区域)的位置，绘制器可以基于接收到的图像和深度图来生成当前视图的视图图像。这可以在许多情形中提供非常自然的体验，同时保持非常低的数据速率。例如，对于会议应用，两个图像流(每只眼睛一个)和相关联的深度数据的提供可以允许具有一致的立体感和运动视差的远程端的3D表示，只要用户保持在同一位置并且仅做出很小的头部移动。因此，可以提供非常自然和高质量的体验。

然而，关于此类服务的问题在于，用户可能潜在地移动到最佳位点之外。这将倾向于导致图像质量的快速且显著的降级，包括引入可感知的伪影(例如由于缺乏去遮挡数据)。在许多情况下，质量可能很快降级，从而导致非常非期望的用户体验。