[发明专利]在全景场景中导航的方法

说明书

技术领域

本发明涉及一种在用户终端上显示的全景视频序列中导航的方法。

背景技术

使用经由全景图像进行的交互式导航的因特网服务在过去的几年中取得了巨大的成功。利用这些服务，用户可以显著地访问并恢复来自名人场所的视觉信息，虚拟地参观城镇或博物馆，虚拟地在建筑物内部移动等等。这些服务基于被已知为IBR(基于图像的呈现)的技术，替代使用复杂的3D建模工具来构造图形模型，该技术使用来自真实世界的成像作为纹理并将这些应用于用户可以在其中导航的基本3D对象，诸如圆柱体、管状体或球体。IBR技术的主要缺点在于其仅使得能够再现静态场景。

而且，几年前，出现了已知为VBR(基于视频的呈现)的技术，其中，被应用于3D对象的纹理是视频流。根据该技术，例如经由全景相机产生若干个同步的视频流，以便使用若干视点捕获整个动态场景。这些流然后被处理并应用于3D对象。用户然后可以以身临其境并且处于动作中心(at the heart of the action)的感觉在该动态场景中导航。

在经由全景图像进行交互式导航的背景下，已知ICIP 2002中Carten Grünheit、Alj oscha Smolic和Thomas Wiegabd的题为“Efficient Representation and interactive streaming of high-resolution panoramic views”的文档。该文档描述了其中根据来自用户的导航命令从服务器向用户终端传送全景场景的视频流的例程。全景场景的视频流是时间连续的全景图像序列。为了便于该全景视频序列的传送，将其划分为形成马赛克的预定义大小的多个不重叠视频部分。这些视频部分在前述文档中以及在本说明书的其余部分中被称为视频补丁。每个视频补丁对应于全景视频序列的一空间区域，并且展现全景视图中的一特定空间位置。视频补丁可以包括固定或可变数量的连续视频补丁。在图1中示出了这种将全景视频序列划分至视频补丁。全景视频序列10被划分为多个视频补丁11。在服务器中将每个视频补丁分离地编码。视频序列中被参考标号为12的部分表示该序列中的在用户终端的屏幕上显示的部分。该区域由用户终端所传送的导航命令来定义并且在本说明书下文中被称为可视区域(visibility zone)。

图2示出了重叠若干个视频补丁(被参考标号为11a到11d)的可视区域12的示例。在此情况下，为了使用户终端可以显示部分12，服务器必须向用户终端传送至少这些4个视频补丁。

为了使用户具有身临其境的印象，需要视频补丁在用户终端的屏幕上的显示快速且流畅。为此目的，在前述文档中定义了视频补丁的预取处理。该处理在于：甚至在视频补丁被包含在可视区域12中之前，在服务器处触发所述视频补丁的传送。客户端请求服务器传送与全景视图的某个区域对应的并且晚于给定展现时间戳的视频补丁，该展现时间戳是根据当前时间戳以及接收所述补丁所需的最大时间来估计的。其还包含：在用户终端中不仅加载属于当前可视区域的视频补丁，而且还加载如果可视区域遵从用户导航命令沿任何方向运动可能属于当前可视区域的视频补丁。

为此目的，对于每个视频补丁11定义被称为检测区域的区域13，如例如图3中所示的，所述区域13环绕视频补丁11的图像部分。在该示例中，该视频补丁的图像部分的边界和其检测区域的边界在该图像部分的整个周长上被分离开距离d。一旦可视区域12进入检测区域13，将请求服务器向用户终端传送视频补丁11的要求传送给服务器。

在图4的示例中，部分12重叠六个视频补丁11a到11f的检测区域(被参考标号为13a到13f)。由此按照用户终端的请求，视频补丁11a到11f被预取到用户终端中，尽管仅仅视频补丁11a到11d被部分地或全部的包括在当前的可视区域12中。

用户终端中视频补丁的预取使得能够至少部分地克服用户终端的请求传送和视频补丁接收之间的等待时间。

使得检测区域13的大小足够大，从而将请求足够早地传送到服务器，以便获得良好的导航速度，而无需在用户终端中预取太大数量的视频补丁(知道此后它们中的一些将永远不会显示在屏幕上)并由此使得导航的流畅度处于不利地位。实际上，检测区域的大小必须被定义以便在导航流畅度和导航速度之间获得良好折衷。导航流畅度取决于用户终端处理器的加载能力，其减小检测区域的大小(要下载更多数据)。相反，导航速度与检测区域的大小成比例(加载数据需要更多时间)。然而，该折衷不总是容易确定的。