[发明专利]用在多视角视频编码中的方法和装置

说明书

相关申请的交叉引用

本申请要求2006年7月11日提交的美国临时申请No.60/830,206的优先权，该申请通过引用整体结合于此。

技术领域

本发明的原理一般地涉及视频编码和解码，更具体而言，涉及用在多视角视频编码(MVC)中的方法和装置。

背景技术

在当前的遵从国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部门(ITU-T)H.264推荐(下文称作“MPEG-4AVC标准”)的多视角视频编码(MVC)的实现方式中，不能标识特定视角并通知相机参数。出于若干原因，需要该视角信息。视角可缩放性、视角随机访问、并行处理、视角生成和视角合成都是利用视角id信息的多视角视频编码需求。而且，这些需求中的若干需求还利用了当前不以标准化方式传递的相机参数。

在现有技术的第一方法中，提出了一种能够在多视角压缩比特流中进行高效随机访问的方法。在所提出的方法中，定义了新的V图像类型和新的视角依赖性(View Dependency)SEI消息。在所提出的V图像类型中所需的特征是V图像应当不具有对同一相机中其他图像的时间依赖性，并且只能根据同一时刻其他相机中的图像来预测。所提出的视角依赖性SEI消息将准确描述V图像以及在前和在后的图像序列可能依赖于哪些视角。下面是所提出的改变的细节。

对于V图像语法和语义，与MPEG-4 AVC标准有关的特定语法表被扩展以包括对应于V图像的网络抽象层(NAL)单元类型14。另外，V图像类型被定义为具有以下语义：

V图像：一种已编码图像，其中所有片断仅参考具有相同时间索引的片断(即，仅参考其他视角中的片断，而不参考当前视角中的片断)。当V图像被输出或显示时，它还使得解码过程对来自同一视角的所有图像进行标记，这些图像不是IDR图像或V图像，并且在输出顺序上领先于要被标记为“不用作参考”的V图像。每个V图像应当与在同一NAL中发生的视角依赖性SEI消息相关联。

针对视角依赖性补充增强信息消息语法和语义，视角依赖性补充增强信息消息利用以下语法来定义：

view_dependency(payloadSize){

    num_seq_reference_views ue(v)

    seq_reference_view_0 ue(v)

    seq_reference_view_1 ue(v)

    …

    seq_reference_view_Nue(v)

    num_pic_reference_views ue(v)

    pic_reference_view_0ue(v)

    pic_reference_view_1ue(v)

    …

    pic_reference_view_N ue(v)

}

其中num_seq_reference_views/num_pic_reference_views表示可以用作当前序列/图像的参考的潜在图像的数目，并且seq_reference_view_i/pic_reference_view_i表示第i个参考视角的视角数。

与视角依赖性补充增强信息消息相关联的图像应当仅参考由pic_reference_view_i所描述的指定视角。类似地，按输出顺序在该视角中直到该视角中的下一视角依赖性补充增强信息消息为止的所有后续图像应当仅参考由seq_reference_view_i所描述的指定视角。

视角依赖性补充增强信息消息应当与每个瞬时解码刷新(IDR)图像和V图像相关联。

第一现有技术的方法具有应对基本视角(base view)可能随时间改变的情况的优点，但是它需要在判决丢弃哪些图像之前对图像进行额外的缓冲。而且，第一现有技术的方法具有包括递归过程来确定依赖性的缺点。

发明内容

现有技术的这些和其他不足和缺点由本发明的原理加以解决，本发明的原理涉及一种用在多视角视频编码(MVC)中的方法和装置。