[发明专利]虚拟基准视图

说明书

相关申请的交叉引用

本申请要求2008年3月4日提交的题为“Virtual Reference View(虚拟基准视图)”且序号为61/068,070的美国临时申请的权益，该临时申请的内容通过引用结合与此，用于所有目的。

技术领域

描述了涉及编码系统的实现方式。各种具体实现方式涉及虚拟基准视图。

背景技术

已广泛认识到，多视图视频编码是服务于各种应用的关键技术，这些应用包括自由视点的和三维的(3D)视频应用、家庭娱乐和监视。另外，深度数据可以与每个视图相关联。深度数据对于视图合成一般是实质性的。在那些多视图应用中，所涉及的视频和深度数据的量通常是巨大的。因此，存在至少对如下框架的需求：该框架帮助提高了执行独立视图的联播(simulcast)的当前视频编码方案的编码效率。

多视图视频源包括同一场景的多个视图。结果，多视图图像之间通常存在高相关程度。因此，除了时间冗余之外还可以采用视图冗余。例如可以通过跨过不同的视图执行视图预测来采用视图冗余。

在一种实际情形中，多视图视频系统将利用稀疏布置的相机来捕获场景。然后可以通过视图合成/内插利用可用的深度数据和捕获的视图来生成这些相机之间的视图。另外，一些视图可以只是携带深度信息，然后在解码器处被利用相关联的深度数据进行合成。也可以利用深度数据生成中间虚拟视图。在这样的稀疏系统中，捕获的视图之间的相关性可能不是很大并且跨视图的预测可能是非常有限的。

发明内容

根据一个一般方面，针对对应于第一视图位置的第一视图图像访问编码后视频信息。访问从不同于第一视图位置的虚拟视图位置描绘第一视图图像的基准图像。基准图像基于第一视图位置和第二视图位置之间的位置的合成图像。针对对应于第二视图位置的第二视图图像访问编码后视频信息，其中第二视图图像已被基于基准图像而编码。利用第二视图图像和基准图像的编码后视频信息对第二视图图像解码，以产生解码后的第二视图图像。

根据另一个一般方面，访问对应于第一视图位置的第一视图图像。针对不同于第一视图位置的虚拟视图位置，基于第一视图图像合成虚拟图像。对与第二视图位置相对应的第二视图图像进行编码。该编码使用基于虚拟图像的基准图像。第二视图位置不同于虚拟视图位置。该编码产生了编码后的第二视图图像。

在附图和下面的描述中给出了一个或多个实现方式的细节。即使以一种具体方式来描述，也应当清楚，可以按各种方式来配置或体现实现方式。例如，一种方式可以作为方法而执行，或者体现为设备(例如，被配置为执行一组操作的设备或者存储用于执行一组操作的指令的设备)，或者用信号来体现。其他方面和特征将从以下结合附图和权利要求而考虑的详细描述中变得清楚。

附图说明

图1是用于与深度信息一起发送和接收多视图视频的系统的实现方式的示图。

图2是用于从深度为(K＝3)的3个输入视图生成9个输出视图(N＝9)的框架的实现方式的示图。

图3是编码器的实现方式的示图。

图4是解码器的实现方式的示图。

图5是视频发送器的实现方式的框图。

图6是视频接收器的实现方式的框图。

图7A是编码过程的实现方式的示图。

图7B是解码过程的实现方式的示图。

图8A是编码过程的实现方式的示图。

图8B是解码过程的实现方式的示图。

图9是深度图(depth map)的示例。

图10A是未进行孔洞填充的变形后图片的示例。

图10B是进行了孔洞填充的图10A的变形后图片的示例。

图11是编码过程的实现方式的示图。

图12是解码过程的实现方式的示图。

图13是连续虚拟视图生成器的实现方式的示图。

图14是编码过程的实现方式的示图。

图15是解码过程的实现方式的示图。

具体实施方式

在至少一种实现方式中，提出了一种框架来使用虚拟视图作为基准。在至少一种实现方式中，提出了使用如下虚拟视图：该虚拟视图不与将被预测为附加基准的视图并置。在另一种实现方式中，还提出了连续对虚拟基准视图进行精炼，直到满足某一个质量与复杂性的折衷为止。然后可以包括若干虚拟生成的视图作为附加基准，并且可以用高级别来表明它们在基准列表中的位置。