[发明专利]一种基于最小二乘的多视点视频编码视点合成预测方法

权利要求书

1.一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，包括以下步骤：

步骤1，通过三维变换找到虚拟视点帧的当前像素点在参考视点帧中的对应像素；

步骤2，将步骤1得到的参考视点帧中的对应像素及其邻域的八个像素，作为虚拟视点帧的当前像素的预测像素；

步骤3，利用编码器中当前帧之前的重建帧及其虚拟视点帧，采用最小二乘法训练求得预测系数；

步骤4，根据步骤3得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，

步骤5，对于每个像素重复执行步骤1至步骤4，最终得到虚拟视点帧；

步骤6，将步骤5生成的虚拟视点帧，加入到参考帧列表，编码器根据参考帧列表对当前视点待编码帧进行编码。

2.根据权利要求1所述的一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，步骤1中，找到虚拟视点帧中的当前像素在参考视点帧中的对应像素的步骤采用以下步骤实现，

对于虚拟视点帧中的当前像素其在参考视点帧中的对应像素通过式一和式二来获取：

[u,v,w]＝R(c)·A^-1(c)·[x,y,1]·D[c,t,x,y]+T(c)

[x′，y′，z']＝A(c′)·R^-1(c')·{[u,v,w]-T(c′)}式二

式一和式二中，A，R和T分别表示内参矩阵，旋转矩阵和相机的平移矢量；c和t分别表示参考视点标号与视点内时域上的序号；D为深度值；[x，y,1]是虚拟视点帧中的像素坐标，[x′，y',z']是参考视点帧中的像素坐标，[u,v,w]指的是世界坐标。

3.根据权利要求1所述的一种基于最小二乘的多视点视频编码合成预测方法，其特征在于，步骤2中，将步骤1得到的参考视点帧中的对应像素及其周围像素，作为虚拟视点帧的当前像素的预测像素，选取方式如下：

虚拟视点帧的当前像素的预测像素为步骤1中获得的与其邻域的N个像素。

4.根据权利要求1所述的一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，所述步骤3中，利用先前已解码的帧及其虚拟视点帧，采用最小二乘法训练求得预测系数，具体采用以下步骤实现，

步骤3.1：将先前已解码的帧作为训练样本，训练窗口的选择如下：

W(T₁,T₁)＝[-T₁,T₁]×[-T₁,T₁]式三

其中T1是空间窗口的大小；W(T₁,T₁)表示训练窗口；

步骤3.2：设在训练窗口中有M个样本，将窗口中的所有样本写成M×1向量定义训练样本在其虚拟视点帧中的对应像素和它的N个相邻像素为1×（N+1）的向量，则训练样本产生一个大小为M×（N+1）的协方差矩阵C，于是，预测系数由式四和五获得：

α→=argminα→MSE=argminα→||y→M×1-CM×(N+1)α→(N+1)×1||2]]>式四

α→=(CTC)-1CTy→]]>式五

其中C_M×(N+1)表示所有训练样本及其预测像素所组成的矩阵；和表示训练样本像素；C^T表示C_M×(N+1)的转置。