[发明专利]基于网格的立体视频空间可分级编码器及其编码方法

说明书

技术领域

本发明属于通信技术领域，涉及视频处理，特别是涉及立体视频的空间可分级压缩编码器，可用于使解码端根据不同的需求显示不同分辨率大小的单目和双目视频。

背景技术

随着多媒体的发展，视频业务将是未来通信的主要业务。视频分为单目视频和双目视频。单目视频只能提供平面信息，而不能提供具有深度的图像；双目视频通过提供立体信息，给用户一种身临其境的感觉，用户能获得更好的视觉效果，但双目信息量大，通信带宽资源十分有限，如何有效地压缩立体视频成为立体视频广泛应用的一个前提。随着网络和多媒体的发展，两者已密不可分。由于网络传输条件不稳定，要求视频编码码流能在网络上渐进式传输，编码能够适应网络的变化，接收端可以接收到基本质量的视频。目前用户通过移动设备访问多媒体资源的需求在逐渐增加，由于通信环境的影响、用户的需求不同、定购的业务不同和用户的终端设备能力不同，每个用户所需的视频码流就不同，解决这类问题的最好办法是可分级视频编码。可分级视频编码，是指通过单一编码器提供不同层次的码流。该码流采用分层格式，第一层提供最基本的解码质量，称为基本层，其他层提供不同质量层次的码流，这些层称为增强层。可分级编码分为时间可分级、质量可分级、空间可分级。其中空间可分级使码流适应不同分辨率大小的终端设备。具有低分辨率的终端只需解码基本层的码流，显示低分辨率的视频；具有高分辨率的终端可解码基本层和增强层，显示高分辨率的视频。

目前，空间可分级编码都是应用基于块方法的运动估计，块中的每一个像素具有相同的运动矢量，具有简单、易于硬件实现的优点。由于每个块只是考虑简单的平移，没有考虑旋转、缩放等运动，因此并不能反映实际的运动。这使得块之间的运动不连续，在低比特编码情况下，解码图像常常出现明显的块效应。

发明内容

本发明的目的在于克服上述基于块方法进行空间可分级编码的不足，提出了一种基于网格的立体视频空间可分级编码器及其编码方法，以避免解码图像出现的块效应，提高在低比特率下解码视频的显示效果。

为实现上述目的，本发明的立体视频可分级编码器包括：左基本层、左增强层、右基本层和右增强层，其中：

左基本层中设有I帧网格描述单元、第一网格运动估计单元和第一网格运动补偿单元，用于通过Delaunay三角形网格的运动估计完成时域预测；

左增强层中设有第二网格运动估计单元和第二网格补偿单元，用于完成网格时域预测；

右基本层中设有第三网格运动估计单元和网格视差估计单元，用于完成网格时域预测和网格视差估计；

右增强层中设有纹理向上采样单元，用于完成层间纹理预测；

所述的编码器左基本层输出网格节点运动矢量、本地恢复的纹理信息和基本层的残差信息到左增强层中，输出网格节点的视差矢量到右基本层中；右基本层输出本地恢复的纹理信息到右增强层中。

为实现上述目的，本发明的立体视频可分级编码方法，包括如下步骤：

(1)下采样输入的高分辨率立体视频，得到低分辨率的左右图像，并对I帧左图像采用DCT编码，得到I帧低分辨率左恢复图像；

(2)对I帧低分辨率左恢复图像进行Delaunay三角形网格剖分；

(3)左基本层其他帧利用已得到的网格进行网格节点运动补偿，得到低分辨率左图像的预测图像；

(4)左增强层将低分辨率图像中的网格扩展到高分辨率图像中，得到高分辨层的网格，利用高分辨层的网格进行网格运动补偿和层间纹理预测，得到高分辨率左图像的预测图像；

(5)右基本层利用左低分辨图像中的网格进行网格运动补偿和视差补偿，得到低分辨率右图像的预测图像；

(6)右增强层向上采样右基本层本地恢复的图像，得到高分辨率右图像的预测图像；

(7)由原图像分别减去所述的低分辨率左图像的预测图像、低分辨率右图像的预测图像和高分辨率右图像的预测图像，得到相对应的残差图像；由高分辨率左原图像减去所述的高分辨率左图像的预测图像，得到高分辨率左图像的残差图像，并向上采样低分辨率左图像的残差图像，得到高分辨率左图像的预测残差图像，用该高分辨率左图像的残差图像减去高分辨率左图像的预测残差图像，得到高分辨率左图像的最终残差图像；

(8)对上述每个残差图像依次编码，并将这些编码数据进行复用形成最终码流。

本发明具有如下优点：