[发明专利]立体视频编码过程的多视点视频和深度图的码率分配方法

说明书

技术领域

本发明涉及视频编码技术领域，特别是涉及一种立体视频编码过程中的多视点视频和深度图的码率分配方法。

背景技术

在立体视频以及自由视点视频系统中，由多视点视频和深度图构成的数据格式获得了广泛的应用。在编码端，多视点视频是通过校准后的同步相机阵列拍摄获得。深度图则通过深度相机拍摄获得或对多视点视频中应用多视图几何关系求得。采集得到的多视点视频以及深度图序列经过多视点视频编码器进行压缩并发送到解码端。在解码端，解码器对码流进行解码重构多视点视频以及深度图序列。然后合成观看者所选择视点对应的视频，从而为观看者提供具有立体视觉的视频。

在基于多视点视频和深度图的立体视频系统中，多视点视频和深度图序列分别通过多视点视频编码器独立进行压缩。在解码端，多视点视频和深度图的重构误差均会造成虚拟视点重建质量的下降。为了获得最优的视点重建质量，需要在给定传输带宽下合理分配多视点视频以及深度图编码的码率，从而使得虚拟视点绘制失真最小。为估计虚拟视点绘制失真，需要获得在不同编码参数条件下多视点视频和深度图解码序列。这需要对多视点视频和深度图进行多次编解码操作，大大提高了编码器的复杂度。为了进行高效的码率分配，编码器需要对多视点视频和深度图编码率失真模型进行估计。进一步，编码器将估计不同编码参数条件下对应的虚拟视点绘制失真，从而在给定带宽下找到获得最优的虚拟视点视频绘制质量所对应的多视点视频和深度图编码参数选择。

传统涉及立体视频码率控制与分配技术方案，主要针对多视点视频码率控制问题，双目立体视频中左右视点码率分配以及各编码单元之间的码率分配问题。由于虚拟视点绘制失真是通过对多视点视频以及对应深度图逐帧分析获得，因此需要建立帧级多视点视频和深度图的码率分配方案，从而实现对多视点视频和深度图码率进行最优分配。

发明内容

本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种立体视频编码过程中的多视点视频和深度图的码率分配方法，该方法使得立体视频系统在给定网络带宽的条件下获得最优的虚拟视点绘制质量。

为实现上述目的，本发明的实施例提出了一种立体视频编码过程中的多视点视频和深度图的码率分配方法，包括如下步骤：

(1)根据立体视频传输过程中的码率限制值，设定立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率，并设定一个当前虚拟视点图像绘制失真的优化值；

(2)根据所述当前多视点视频帧的初始码率，计算所述当前多视点视频帧的编码量化步长，并根据所述当前多视点视频帧的编码量化步长计算所述当前多视点视频帧的编码量化参数，根据所述当前深度图的初始码率，计算所述当前深度图的编码量化步长，并根据所述当前深度图的编码量化步长计算所述当前深度图的编码量化参数；

(3)根据所述当前多视点视频帧的编码量化参数和所述当前深度图的编码量化参数，预测所述各个视点的当前视频帧和当前深度图的编码量化失真；

(4)根据所述当前各个视点视频帧的编码量化失真和对应视点当前深度图的编码量化失真，计算当前虚拟视点图像绘制失真；

(5)判断所述当前虚拟视点图像绘制失真是否小于当前虚拟视点图像绘制失真的优化值，如果是则将所述当前虚拟视点图像绘制失真设置为所述当前虚拟视点图像绘制失真的优化值，将所述当前深度图的编码量化参数增加预设值，重新计算深度图编码码率，同时根据传输带宽限制调整多视点视频编码码率，重新计算当前多视点视频帧的编码量化参数，并返回步骤(3)，否则根据所述当前虚拟视点图像绘制失真的优化值对应的多视点视频帧的编码量化参数和当前深度图的编码量化参数，计算得到所述当前多视点视频帧的优化码率和所述当前深度图的优化码率；以及

(6)对立体视频待编码的其他多视点视频帧和深度图，按照步骤(1)-(5)所述的方法，计算得到所述其他多视点视频帧的优化码率和所述其他深度图的优化码率，实现码率优化分配。

根据本发明实施例的帧级多视点视频和深度图的帧级立体视频码率分配方法，实现了在给定传输带宽下，多视点视频和深度图码率的高效最优分配，从而使解码端在进行虚拟视点绘制时获得最优的绘制质量。

在本发明的一个实施例中，所述的立体视频的视点个数为两个。

在本发明的一个实施例中，所述的当前深度图的编码量化参数增加预设值设定为1。