[发明专利]基于逆映射的虚拟视点空洞填补方法

说明书

本发明属于自由立体成像以及图像内容处理领域，为提出空洞填补方法，实现有效填补空洞。本发明采用的技术方案是，基于逆映射的虚拟视点空洞填补方法，步骤如下：1)首先获取左、右视点映射的虚拟视图中的深度值为零的空洞区域；2)利用图像膨胀方法，提取出消除伪影后的左右视点映射的虚拟视图中的空洞边界；3)将左、右视点映射的虚拟视图中的空洞边界点利用3D warping映射技术分别投影到右、左参考视点中；4)根据空洞与提取的边界点的相对位置，选取参考视图中的对应位置上的像素点填补虚拟视图中的空洞；5)得到最终的虚拟视点图像。本发明主要应用于自由立体成像以及图像内容处理场合。

技术领域

本发明属于自由立体成像以及图像内容处理领域，具体涉及虚拟视点绘制领域的一种基于逆向映射的空洞填补方法。

背景技术

随着3D显示技术和交互多媒体系统的发展，3D视频技术在3D电视、自由视点电视、远程视频会议、3D视频监控等新技术中得到了广泛的应用。在3D视频系统中，MVD(Multiview Video Plus Depth)视频格式可以利用DIBR(Depth-Image-based Rendering)在解码终端绘制出所需的视点图像，从而大大降低了3D视频系统对存储容量和传输带宽的要求。虽然DIBR技术在图像映射和图像融合方面已经非常成熟，然而绘制的虚拟视点中的空洞填补问题，仍然是DIBR技术的一个非常棘手的问题。

空洞产生的主要原因是参考视点中被前景物体遮挡住的背景区域在虚拟视点中重新变得可见，而这些区域在原始的参考视点图像中找不到对应的信息，从而导致虚拟视图中产生较大的空洞；图像融合消除了虚拟视图中的大部分空洞，但有些空洞在参考图像中均位于遮挡区域，从而无法使用图像融合方法进行填充。对于这部分空洞通常使用空洞外侧一定范围内的像素作为进行填充，通常所采用的方法有相邻像素插值法或周围一定区域内像素加权填充法。

为了减少虚拟视图中的空洞，在一些文献中通过对深度图进行了低通滤波处理,以平滑深度图中尖锐的边缘，尽管这种方法有可能减少或者消除虚拟视图中空洞区域，但也使得前景物体的边界产生几何失真。目前比较流行的空洞填补方法是Criminisi提出的图像修复(Image Inpainting)技术，该方法利用相邻像素对空洞区域进行填补。图像修复技术提供了一种利用周围信息对图像中的损坏区域或者指定区域进行填充的方法。还有一些参考文献通过采用空洞边界上的背景像素对空洞区域进行填充。虽然图像修复方法和边界背景填充方法能够有效的填充大部分的空洞区域。但是，这两种方法在进行空洞填补时都需要借助空洞边界的深度信息，以识别边界上的背景信息。因此，当空洞边界上没有背景信息时，由于缺少有效的背景信息则很难正确的填充空洞。同时，这两种空洞填补方法本身就是一种对空洞区域的近似估计，并不是一种精确的空洞填补方法。此外，在进行3DWarping时由于参考视点的深度图中前景物体与背景之间的深度的不连续性，在3D映射的过程中会导致将前景像素映射到背景中的现象，从而使得虚拟视图中出现类似于前景物体轮廓的伪影瑕疵。因此，对于虚拟视点绘制技术而言，准确地填充空洞是非常有意义且有价值的。

发明内容

为克服现有技术的不足，本发明旨在提出空洞填补方法，实现有效填补空洞。本发明采用的技术方案是，基于逆映射的虚拟视点空洞填补方法，步骤如下：

1)首先获取左、右视点映射的虚拟视图中的深度值为零的空洞区域，并对空洞区域利用形态学处理的膨胀方法进行处理，经过膨胀之后，虚拟视图中的前景伪影轮廓就变成空洞区域，进一步利用空洞填补方法进行填充；

2)利用图像膨胀方法，提取出消除伪影后的左右视点映射的虚拟视图中的空洞边界；

3)将左、右视点映射的虚拟视图中的空洞边界点利用3D warping映射技术分别投影到右、左参考视点中；

4)根据空洞与提取的边界点的相对位置，选取参考视图中的对应位置上的像素点填补虚拟视图中的空洞；