[发明专利]一种基于数据重用的多视点多描述视频编码方法

说明书

技术领域

本发明涉及视频通信中的视频编解码领域，尤其涉及一种基于数据重用的多视点多描述视频编码方法，可应用于不可靠信道中的视频通信。

背景技术

随着移动宽带4G时代的到来，互联网和无线信道将成为多视点视频的主要传输信道。而无线信道传输中的数据错误、由互联网中的信道干扰、网络拥塞和路由选择延迟引起的数据到达时间过度延迟和数据包丢失等问题，将严重影响多视点视频图像的重建质量。现有的多视点视频编码（Multi-view Video Coding，MVC）标准采用的是HHI提出的基于分层B帧的视点间/时间混合预测结构，它不仅采用了帧内与视点内的帧间预测，还引入了视点间的预测。这样的预测结构导致即使是一个数据包出现误码，也会影响到与其关联的若干个数据包视频信息的重建，造成严重的“误码扩散”，使重建视频图像的质量严重下降。因此，抗干扰和差错恢复能力对多视点视频编码尤为重要。

虽然差错控制技术在2D视频编码中已得到广泛的应用，但由于多视点视频数据量庞大、预测编码结构复杂、计算复杂度非常高，如果采用现有的差错恢复编码技术将进一步增加编码复杂度和冗余率。由于错误隐藏技术不需要增加编码端的开销，所以目前对MVC差错控制的研究主要集中在基于时空域相关性的错误隐藏技术，特别是双目立体视频的错误隐藏；对多视点视频编码差错控制的研究进展不大。如何提高多视点视频编解码的容错能力，有待进一步研究。

发明内容

本发明的目的在于克服现有多视点视频编码方法的不足，提供一种基于数据重用的多视点多描述视频编解码方法，该方法简单易行，能更好地提高多视点视频编码的容错能力。

本发明提供一种基于数据重用的多视点多描述视频编解码方法，其中，

在编码端，对输入的多视点视频的每一个图像组实施如下步骤：

步骤11、对输入的多视点视频图像组中每个视点的每一帧进行水平下采样和垂直下采样，得到ABCD四个相同分辨率的子帧，然后分别将每个视点内空间位置一样的各子帧按序组合，形成该视点的ABCD四个视频子序列；再把各个视点的相对位置一样的视频子序列的集合作为一个多视点视频子序列，形成ABCD四个多视点视频子序列，把这四个多视点视频子序列两两组合形成两个描述，设为A+B和C+D；

步骤12、采用标准的多视点视频编码器（即JMVC编码器），直接对上述每个描述中的一个多视点视频子序列进行编码，设两多视点视频子序列分别为A和C，称为直接编码子序列，并保存该直接编码子序列各宏块的最佳预测模式和预测矢量；

步骤13、设上述每个描述中的另一个多视点视频子序列分别为B和D，称为间接编码子序列，对间接编码子序列B和D的每一个宏块而言，如果同一描述中直接编码子序列的对应宏块即处于同一视点、同一时间和同一空间位置的宏块的最佳预测模式是帧内模式，则转步骤13-1进行处理；如果最佳预测模式属于帧间P8x8，即8x8，8x4,4x8,4x4中的任一种模式，则转步骤13-2进行处理；否则，最佳预测模式属于SKIP或帧间大模式，即16x16,16x8,8x16中的任一种，不需要编码，转步骤13处理下一宏块，直至所有宏块处理完毕转步骤14；

步骤13-1、直接复制同一描述中直接编码子序列对应宏块的最佳预测模式，对当前宏块进行帧内预测编码，转步骤13处理下一宏块；

步骤13-2、直接复制同一描述中直接编码子序列对应宏块的最佳预测模式和预测向量，即运动矢量或视差矢量，对当前宏块进行帧间预测编码，转步骤13处理下一宏块；

步骤14、将两个描述的输出码流分别打包送入两个相互独立的信道进行传输；

在解码端，对接收的多视点视频的每一个图像组进行重建，实施如下步骤：

步骤21、如果能正确接收信道1的信号，接收直接编码子序列的码流并用标准的多视点视频解码器对接收到的码流进行解码，重建描述1的直接编码子序列1，转步骤22重建间接编码子序列1；否则，转步骤23对描述2进行解码；

步骤22、顺序重建描述1的间接编码子序列1的每一个宏块，如果当前宏块在直接编码子序列1的对应宏块的最佳预测模式是帧内模式，转步骤22-1重建当前宏块；如果最佳预测模式属于帧间P8x8中的任一种模式，转步骤22-2重建当前宏块；否则，最佳预测模式属于SKIP或帧间大模式，以直接编码子序列1的对应宏块的重建值作为当前宏块的重建值，转步骤22重建下一宏块，直至所有宏块重建完毕后转步骤23；