[发明专利]用于产生、传输和接收立体图像的方法以及相关设备

说明书

技术领域

本发明涉及立体视频流的产生、存储、传输、接收和再现，即当在可视化设备中被合适地处理时，产生图像序列的视频流，该图像序列可以被观众以三维方式感知。

背景技术

如已知的，通过再现两幅图像能够获得三维的感知，其中一幅用于观众右眼而另一幅用于观众左眼。

因此，立体视频流传输关于图像的两个序列的信息，对应于目标或者场景的右眼或者左眼视角。

本发明尤其涉及一种用于在复合图像中复用右视角和左视角的两幅图像(下文中称为右图像和左图像)的方法和设备，该复合图像表示立体视频流的一帧，此后被称为容器帧。

此外，本发明还涉及一种用于去复用所述复合图像，即，用于从中提取复用设备添加的右图像和左图像。

现有技述

为了降低传输立体视频流所需的带宽，本领域已知的是将右图像和左图像复用为一个立体视频流的单个复合图像。

第一个例子被称为并排复用，其中右图像和左图像被水平子抽样并且被并排排列到立体视频流的同一个帧内。

这种类型的复用的缺点是，水平分辨率减半而垂直分辨率仍然不变。

另一个例子被称为从上到下(top-bottom)复用，其中右图像和左图像被垂直子抽样并且在立体视频流的同一帧内按照一个在另一个上部的方式排列。

这种类型复用的缺点是，垂直分辨率减半而水平分辨率仍然不变。

还有其他更复杂的方法，例如，在专利中请WO03/088682中公开的方法。该申请描述了使用棋盘抽样来降低抽取组成右图像和左图像的像素数量。这些被选择用于右图像和左图像的帧的像素被“几何地”压缩为并排模式(通过移动相应的像素在列1中建立的空格被列2中的像素所填充，等等)。在用于屏幕上呈现图像的解码步骤期间，右图像和左图像的帧被再次变回其原始形式，并且通过使用合适的内插技术来重建丢失的像素。该方法允许在水平和垂直分辨率之间的比率保持恒定，但是其降低了对角线分辨率，而且由于引入了本来不该出现的高频空间谱分量而改变了图像像素间的相关性。这会降低随后的压缩步骤(例如MPEG2、MPEG4或H.264压缩)的效率，而且还增加了压缩视频流的比特率。

从专利申请WO2008/153863中还已知另一种用于复用右图像和左图像的方法。

这些方法中的一个提供了对右图像和左图像执行70％的缩放；缩放的图像随后被分割为8×8像素的块。

每一个缩放图像的块能够被压缩到一个等于复合图像大约一半的区域中。

这个方法的缺点是，由于引入了高频空间谱分量，块的再分配修改了组成图像的块之间的空间相关性，因此降低了压缩效率。

此外，缩放操作和将每一个图像分割为大量块包括高的计算成本并且因此增加复用和去复用设备的复杂度。

这些方法中的另一个对每一个右图像和左图像应用对角线缩放，使得原始图像变形为平行四边形。这两个平行四边形随后被分割为三角形区域，并且组成矩形复合图像，其中通过分割两个平行四边形而获得的三角形区域被重组和重排。右图像和左图像的三角形区域被以一种方式组织，使得他们通过复合图像的对角线而分开。

类似于从上到下和并非方案，这个方案也同样具有改变水平和垂直分辨率的比率(平衡)的缺点。此外，细分为大量在立体帧中重排的三角形区域使得后续的压缩步骤(例如MPEG2、MPEG4或H.264)，在在通信信道上传输之前，在三角形区域的边界区域中产生伪像。例如，由于按照H.264标准的压缩处理执行的运动估计过程而产生所述伪像。

这个方案的另一个缺点涉及缩放右图像和左图像的操作以及分割和转筒转换三角形区域的后续操作所需的计算复杂度。

在提交的申请国际专利申请PCT/IB2010/055918中公开了一种如该申请中权利要求1定义的用于产生包括复合图像的立体视频流的方法，所述复合图像包括关于右图像和左图像的信息，其中所述右图像的像素和所述左图像的像素被选择，并且所选择的像素被添加到所述立体视频流的复合图像中，该方法的特征在于，通过保持所述两幅图像中的一个未改变而将另一个分割为包括多个像素的三个区域并且降所述区域添加到所述复合图像中，而将所述右图像的所有像素和所述左图像的所有像素都添加到所述复合图像中。

所述方法涉及将另一图像细分为三个矩形区域，以及关于在复合图像中如何排列所述三个区域。

但是上述方法还留有很大的改进空间，主要由于以下问题。