[发明专利]用于生成图像数据流的装置和方法

说明书

一种用于生成表示场景视图的图像数据流的装置，例如用于虚拟现实的应用。所述装置包括接收器(203)，所述接收器接收注视指示，所述注视指示指示观看者的头部姿态和相对眼睛姿态两者。所述头部姿态包括头部位置，并且所述相对眼睛姿态指示相对于所述头部姿态的眼睛姿态。确定器(205)确定场景中与注视指示相对应的通常是小/窄的视觉关注区域。具体地，可以识别注视点周围的区域。生成器(209)生成图像数据流以包括针对场景的图像数据，所述图像数据具有针对视觉关注区域比视觉关注区域之外具有更高的质量水平/数据率。

技术领域

本发明涉及用于生成图像数据流的装置和方法，并且尤其但非排他地涉及用于访问场景的虚拟现实应用的图像数据流的生成。

背景技术

近年来，随着不断开发和引入新的服务以及利用和使用视频的方式，图像和视频应用的种类和范围已大大增加。

例如，一种越来越流行的服务是以如下的方式提供图像序列：使得观看者能够主动和动态地与系统交互以改变绘制的参数。在许多应用中，一个非常吸引人的功能是能够更改观看者的有效观看位置和观看方向的能力，例如允许观看者在呈现的场景中移动并“环顾四周”。

这样的特征可以具体地允许将虚拟现实体验提供给用户。这可以允许用户在虚拟环境中(相对)自由地移动，并动态地改变其位置和他所看的位置。通常，这样的虚拟现实应用基于场景的三维模型，其中该模型被动态评估以提供特定的请求视图。从例如用于计算机和控制台的第一人称射击游戏类别的游戏应用中，这种方法是众所周知的。

尤其对于虚拟现实应用，还期望所呈现的图像是三维图像。实际上，为了优化观看者的沉浸感，通常优选的是，用户将呈现的场景体验为三维场景。实际上，虚拟现实体验应该优选地允许用户选择相对于虚拟世界的他/她自己的位置、相机视点以及时间。

通常，虚拟现实应用固有地受限于它们基于场景的预定模型，并且通常基于虚拟世界的人工模型。如果可以基于真实世界的捕获来提供虚拟现实体验，则将是理想的。但是，在许多情况下，这样的方法非常受限制，或者倾向于要求根据现实世界的捕获物来构建现实世界的虚拟模型。然后通过评估该模型来生成虚拟现实体验。

然而，许多当前的方法倾向于是次优的，并且倾向于通常具有较高的计算或通信资源要求和/或以例如降低的质量或受限的自由度提供次优的用户体验。

作为应用的示例，虚拟现实眼镜已经进入市场。这些眼镜使观看者可以体验捕获的360度(全景)视频。这些360度视频通常是使用摄影机预先捕获的，其中将单幅图像拼贴在一起形成单个球面映射。针对360度视频的常见立体声格式为上/下和左/右。与非全景立体声视频相似，左眼和右眼图片被压缩为单个H.264视频流的一部分。在对单个帧解码后，观看者旋转他/她的头部以查看他/她周围的世界。一个示例是如下的记录，其中，观看者可以体验360度环视效果，并且可以在从不同位置录制的视频流之间离散地切换。在切换时，将加载另一个视频流，这中断了体验。

立体全景视频方法的一个缺点是观看者不能改变虚拟世界中的位置。除了全景立体视频之外，全景深度图的编码和传输还允许补偿客户端观看者的小的平移运动，但是这种补偿本质上将限于小的变化和运动，并且将不能提供沉浸式和自由虚拟现实体验的视觉效果。

一种相关技术是自由视点视频，其中具有深度图的多个视点在单个视频流中被编码和传输。除了利用众所周知的时间预测方案之外，还可以通过利用视点之间的角度依赖性来降低视频流的比特率。然而，所述方法仍然需要高比特率，并且在可以生成的图像方面是受限制的。它实际上不能提供在三维虚拟现实世界中完全自由移动的体验。

遗憾的是，没有任何一种现有技术能够提供理想的体验，而是常常倾向于限制位置和观看方向的改变的自由度。另外，这些技术趋向于要求非常高的数据率并提供包括比生成单幅图像/视图所需的数据更多的数据的数据流。