[发明专利]基于改进虚拟视点合成的多视点视频超分辨率重建算法

摘要

本发明公开了一种基于改进虚拟视点合成的多视点视频超分辨率重建算法，步骤(1)、基于DIBR的虚拟视点合成，在参考视点的深度图的辅助下，建立虚拟视点图像和参考视点图像之间的映射关系；步骤(2)、基于双向DIBR的投影一致性检查，步骤(3)、高频信息提取与超分辨率重建，得到最终的超分辨率重建结果。与现有技术相比，本发明可以有效的去除小裂痕，消除背景与前景之间的像素渗透现象；对空洞部分，通过提取插值图像的对应像素点进行填充，取得了较好的视点合成效果，在此基础上通过高频提取与插值视图相融合取得了良好的超分辨率重建结果。

主权项

1.一种基于改进虚拟视点合成的多视点视频超分辨率重建算法，其特征在于，该算法包括以下步骤：步骤(1)、基于DIBR的虚拟视点合成，在参考视点的深度图的辅助下，建立虚拟视点图像和参考视点图像之间的映射关系；该步骤的具体处理如下：已知视点个数N的高分辨率图像V_N及其对应的深度图D_N，利用V_N内某一像素点(u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵A_N、旋转矩阵R_N以及转移矩阵T_N，映射为世界坐标系的(x,y,z)点，表达式如下：其中，参数矩阵表示摄像机成像的内部参数矩阵，f_x和f_y分别表示水平和竖直方向以像素为单位的焦距，(c_x,c_y)表示基准点；为摄像机的旋转矩阵，为摄像机平移矩阵；矩阵[R_N T_N]为摄像机外部参数矩阵；像素点(u,v)的深度值d通过以下公式计算得出：其中，Z_min和Z_max表示深度图中最小和最大景深；将世界坐标点(x,y,z)重新映射到视点N+1的摄像机像素平面上某点(u',v')，表达式如下：其中，d′表示像素点(u',v')的深度值，(u',v')即为视点N中像素点(u,v)经过DIBR映射后得到的像素点位置；步骤(2)、基于双向DIBR的投影一致性检查，该步骤的具体处理如下：找到虚拟视点的原深度图D_r中某像素点，将虚拟视点的原深度图D_r中某像素点p(u,v)投影到参考视点深度图的映射位置p'(u',v')；找到距离p'(u',v')最近的四个像素坐标为整数的点；将得到的参考视图中点p'(u',v')的四个邻近点p′₁、p′₂、p′₃、p′₄映射到虚拟视图，得到四个映射虚拟视图像素点；找到与p(u,v)欧式距离最近的映射虚拟视图像素点记为若与p(u,v)的欧式距离小于投影一致性检查阈值K＝1，则该像素点在参考视点中的像素坐标原投影点即为p(u,v)的最终映射位置,否则认为p(u,v)在参考视图中没有正确的对应像素点，p(u,v)对应的像素点用插值虚拟视点彩图进行填充；步骤(3)、高频信息提取与超分辨率重建，该步骤的具体处理如下：通过均值为μ，方差为σ的高斯核函数G对经过双向DIBR的合成虚拟视图提取高频分量，并与低分辨率视图的双三次插值结果进行融合，得到最终的超分辨率重建结果:其中，均值μ＝0，方差σ＝1.6。