[发明专利]基于逆映射的虚拟视点空洞填补方法

权利要求书

1.一种基于逆映射的虚拟视点空洞填补方法，其特征是，步骤如下：

1)首先获取左、右视点映射的虚拟视图中的深度值为零的空洞区域，并对空洞区域利用形态学处理的膨胀方法进行处理，经过膨胀之后，虚拟视图中的前景伪影轮廓就变成空洞区域，进一步利用空洞填补方法进行填充；

2)利用图像膨胀方法，提取出消除伪影后的左右视点映射的虚拟视图中的空洞边界；

3)将左、右视点映射的虚拟视图中的空洞边界点利用3D warping映射技术分别投影到右、左参考视点中；

4)根据空洞与提取的边界点的相对位置，选取参考视图中的对应位置上的像素点填补虚拟视图中的空洞；

5)重复步骤3)和4)，并利用图像融合方法将空洞填补后的左右视点映射的虚拟视点图像进行融合，得到最终的虚拟视点图像。

2.如权利要求1所述的基于逆映射的虚拟视点空洞填补方法，其特征是，其中，步骤1)进一步细化为：首先获取左、右视点映射的虚拟视图中的深度值为零的空洞区域标记，记为holes：

其中，holes为空洞标记图，(i,j)为像素位置，vird为映射得到虚拟视点的深度图；

对holes利用形态学处理的膨胀方法进行处理，得到膨胀后空洞标记矩阵H：

H＝holes⊕S,

其中S为结构元素，⊕表示利用结构元素S对holes进行膨胀；膨胀之后，空洞区域扩展了一个像素的宽度，虚拟视图中的伪影轮廓转变为空洞区域的公式为：

其中，vir和vird分别为虚拟视点纹理图像和深度图，k＝{1,2,3}当取不同值时分别代表红、绿、蓝三个颜色通道，经过转换之后，伪影轮廓就变成了空洞区域，从而进一步利用空洞填补方法进行填充。

3.如权利要求2所述的基于逆映射的虚拟视点空洞填补方法，其特征是，S选为7×7的矩形形状。

4.如权利要求2所述的基于逆映射的虚拟视点空洞填补方法，其特征是，步骤2)进一步细化为：首先3×3的矩形形状的结构元素对消除伪影后的空洞区域进行膨胀，然后提取出空洞边界，边界的提取公式为：

其中，vir_B和vird_B分别表示提取出的虚拟视点图像和深度图中的空洞边界。

5.如权利要求4所述的基于逆映射的虚拟视点空洞填补方法，其特征是，步骤3)进一步细化为，找出vird_B中不为0的点即为提取出的边界点，将左、右视点映射的虚拟视图中的空洞边界点分别投影到右、左参考视点中，具体由下列公式实现：

[r c]＝find(vird_B≠0),

[u_n,v_n,d_n]＝K·R^-1·{R′·K′^-1·[r(n),c(n),1]^T·d(r(n),c(n))+(t′-t)},

其中，r和c分别表示空洞边界上像素点的行坐标矩阵和列坐标矩阵；find为定义的查找函数；n表示第n个边界点；K,R,t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′,R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；u_n,v_n,d_n分别表示映射后的水平方向的坐标分量，垂直方向的坐标分量以及映射后的深度值，(u,v)为映射后在参考视点中的坐标位置。

6.如权利要求5所述的基于逆映射的虚拟视点空洞填补方法，其特征是，步骤4)进一步细化为：选取参考视图中的对应区域填补虚拟视图中的空洞，当vird(r(n),c(n)±m)＝0时，有

其中，m表示空洞与当前边界点坐标(r(n),c(n))在垂直方向的相对距离；k＝{1,2,3}当取不同值时分别代表红、绿、蓝三个颜色通道；ref和dep分别表示原始参考视点的纹理图和深度图。