[发明专利]用于产生、传送和接收立体图像的方法及有关设备

说明书

技术领域

本发明涉及立体视频流(亦即，当在可视化设备中被适当地处理时生成被观看者感知为是三维的图像序列的视频流)的产生、存储、传送、接收和再现。

背景技术

众所周知，可以通过再现两个图像(一个针对观看者的右眼，并且另一个针对观看者的左眼)来获得对三维的感知。

因此，立体视频流传输关于与对象或场景的右透视和左透视对应的两个图像序列的信息。这样的流还可以传输补充信息。

于2011年6月30日作为WO2011/077343A1公布的国际专利申请PCT/IB2010/055918描述了一种左/右图像复用方法及解复用方法(以及有关设备)，该方法允许保留水平分辨率和垂直分辨率之间的平衡，从而相对于诸如“并排(side by side)”和“上下(top and bottom)”的已知技术提供了优点。

根据所述复用方法，将第一图像(例如左图像)的像素不变地加入到合成图像中，而将第二图像划分成区域，其像素被布置在合成图像的空闲区中，如图1所示，其示出将两个所谓的720p图像加入到容器帧1080p中的情况。

在接收时，重构被划分成区域的图像，然后发送给显示器。例如，已知根据所谓的“帧交替”原理进行操作(亦即，在时间上相继地示出两个图像L和R)的显示器。为了立体视觉，需要佩戴所谓的“主动式(active)”眼镜，亦即如下眼镜：该眼镜与图像L和R的相继同步地遮蔽一个透镜并且保持另一个眼睛的透镜打开、使得每个眼睛只能够看见想要给它的图像。

已知对于某些观看者而言，通过这样的显示器得到的立体视觉可以被证实是令人讨厌的，期望对他们提供变化(减小)图像的深度的可能性，以便使其适合于他们的主观偏好和屏幕的大小。为此，需要在显示器内在正在被传送的那些图像之间提供中间图像的合成，其然后将被显示在实际传送的图像的地方。如果可以得到与所传送的图像关联的一个或多个深度图，则可以通过使用已知的技术完成这样的重构。

另外，所谓的自立体(self-stereoscopic)显示器最近开始出现在市场上，其不需要使用眼镜。这样的显示器还执行未传送图像的合成，因此需要提供这样的合成所需的信息的至少一个深度图。

从而，已经需要引入一种用于产生、传输和重构立体流的新格式，该格式可以用于传统的2D接收和再现设备、当前的双视图(two-view)立体3D接收和再现设备(具有或不具有深度调节)以及使用多于两个视图的未来的自立体设备，同时保留与当前使用的视频流生成和分发基础设施及设备的格式的最大兼容性。

发明内容

因此，本发明的目的是针对满足上述需求，提出一种用于产生、传送和接收立体图像的方法以及有关设备。

本发明涉及一种用于在单个合成帧内复用与右透视和左透视有关的两个图像(以下称为右图像和左图像)以及一个或多个深度图的方法和设备。

本发明还涉及一种用于解复用所述合成图像(亦即，用于从中提取通过复用设备加入的右图像和左图像以及深度图)的方法和设备。

在图1a中可见，关于上述国际专利申请(所谓的“瓦片格式”)，在合成图像中存在尺寸在水平和垂直方向上均为两个图像L和R的尺寸的一半的未用区域(C5)。根据本发明的一个可能的实施例，如图1b所示，可以将至少一个深度图(DM)加入到所述未用区域中。

将与图像x有关的深度图理解为灰度图像，其中每个像素具有与像素本身的深度(亦即，坐标“z”)成比例的亮度值，其中按照惯例假设值z＝0与屏幕上的位置对应，z的正值与位于屏幕后面的像素对应，而负值与位于屏幕的前面的像素对应。因为合成图像的未用区域具有水平和垂直尺寸(其是图像L和R的尺寸的一半)，所以在本发明的一个实施例中，可以将具有等于对应的图像的一半的水平和垂直分辨率的深度图(与两个图像L和R之一有关)加入到这样的区域中。已经观察到分辨率的这种损失不是有害的，因为通常可以在不精确的情况下计算或测量深度图，优选对全分辨率图通过在像素值之间进行插值来进行欠采样操作，因为这样的操作可以减少噪声分量，从而得到更高质量的重构图像。

根据本发明的其他实施例，可以将两个深度图加入到所述未用区域(C5)中。

上述国际专利申请还描述了立体图像L和R的复用和解复用的其他形式，虽然因为可用于加入深度图的剩下的空间更小而不那么有效，但是也可以对其应用本发明的方法。因此，将存在所述图的分辨率的进一步的降低。虽然仍然落入本发明的一般原理之内，但是在本文中将不描述这样的替代的实施方式。