[发明专利]一种基于最小二乘的多视点视频编码视点合成预测方法

说明书

技术领域

本发明涉及一种多视点视频编码视点合成预测方法，尤其是涉及一种基于最小二乘的多视点视频编码视点合成预测方法。

背景技术

第一代3D显示终端是基于左右格式的，它只提供两路视频流，分别用于左右眼。这意味着基于这种立体终端要求观看者佩戴特殊眼镜坐在一个较为狭窄的范围内观看。虽然，当前的立体显示系统能够提供高质量的3D视频，但在观看上的这些限制影响了观看时的舒适与自然。近来，深度图研究的进步带动了一种新的3D显示终端的发展，即自由视点电视。

自由视点电视在不同方向显示不同的立体视频流，它可以为用户提供对于场景的自由视点选择，而且用户不需要配戴眼镜。为了提供一个宽阔的观赏视角和视点过渡，这种显示需要使用更多数目的视频流。深度图信息将有助于合成中间视点以到达视点无缝过渡的目的。然而，多台摄像机的拍摄导致了数据量的显著增加，需要对多路视频流进行压缩，一个直接的方法是利用最新的多视点视频编码国际标准（MVC）来压缩不同的纹理视点。然而，一方面，在MVC中使用的平移运动模型不足以消除由于不同摄像机拍出的物体的位置不同产生的视点间冗余。另一方面，这种方法忽略了纹理图和对应的深度图之间的关系。

因此，在2006年，Martinian等人，首次提出深度辅助的视间预测方法，称为基于视点合成预测（VSP）的多视点视频编码，以提高视间预测效率[1]。这种方法的基本思想是通过三维变换来创建当前视点的一个虚拟视点，在预测的过程中可以作为附加的参考视点。与视差预测相比，VSP可很好地补偿不同视点间的几何差异。2008年，Oh等利用VSP的技术来压缩多视深度数据[2]。此外，在2009年，Sehoon等提出了基于VSP的率失真优化模型[3]。为改变视差矢量的预测，在2010年，Iyer等通过基于VSP的后向变换，提出了一种基于三维变换的视差矢量预测方法[4]。在2011年，Shinya等利用VSP来完成后向运动估计和视差估计[5]。

然而，现有的VSP技术仅仅使用了相邻的视点间信息去合成虚拟视点，由于深度信息的不准确，不同相机的异质性，和对象的非朗伯反射，虚拟视点的质量和预测能力是有限的。因此，现有的VSP技术很难大幅度降低码率，而在VSP技术中，虚拟视点不是被用于显示的，而只是用于预测。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种基于最小二乘的多视点视频编码视点合成预测方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，包括以下步骤：

步骤1，通过三维变换找到虚拟视点帧的当前像素点在参考视点帧中的对应像素；

步骤2，将步骤1得到的参考视点帧中的对应像素及其邻域的八个像素，作为虚拟视点帧的当前像素的预测像素；

步骤3，利用编码器中当前帧之前的重建帧及其虚拟视点帧，采用最小二乘法训练求得预测系数；

步骤4，根据步骤3得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，

步骤5，对于每个像素重复执行步骤1至步骤4，最终得到虚拟视点帧；

步骤6，将步骤5生成的虚拟视点帧，加入到参考帧列表，编码器根据参考帧列表对当前视点待编码帧进行编码。

在上述的一种基于最小二乘的多视点视频编码视点合成预测方法，步骤1中，找到虚拟视点帧中的当前像素在参考视点帧中的对应像素的步骤采用以下步骤实现，

对于虚拟视点帧中的当前像素其在参考视点帧中的对应像素通过式一和式二来获取：

[u,v,w]＝R(c)·A^-1(c)·[x,y,1]·D[c,t,x,y]+T(c)式一

[x',y',z']＝A(c')·R^-1(c')·{[u,v,w]-T(c′)}式二

式一和式二中，A，R和T分别表示内参矩阵，旋转矩阵和相机的平移矢量；c和t分别表示参考视点标号与视点内时域上的序号；D为深度值；[x，y,1]是虚拟视点帧中的像素坐标，[x′，y',z']是参考视点帧中的像素坐标，[u,v,w]指的是世界坐标。

在上述的一种基于最小二乘的多视点视频编码视点合成预测方法，步骤2中，将步骤1得到的参考视点帧中的对应像素及其周围像素，作为虚拟视点帧的当前像素的预测像素，选取方式如下：

虚拟视点帧的当前像素的预测像素为步骤1中获得的与其邻域的N个像素。