[发明专利]一种用于车载多目摄像机环视系统的虚拟视点合成方法

说明书

技术领域

本发明涉及虚拟视点合成技术领域，具体为一种用于车载多目摄像机环视系统的虚拟视点合成方法。

背景技术

虚拟视点合成技术是指利用两个或多个来自于同一场景的真实视点图像生成一个新视点的图像。它在环境认知、虚拟现实、地理信息系统、远程视频会议、军事、医疗、教育、娱乐和影视特技等多个领域都有着广泛的应用。基于深度图的绘制(Depth Image Based Rendering，DIBR)技术是虚拟视点合成技术中最有发展前景的技术之一。该技术根据参考图像的深度信息和摄像机参数，通过3D图像映射，将参考图像投影到目标图像坐标系，能够实现任意视点虚拟图像的快速绘制。然而，单一地通过DIBR技术合成的虚拟视点图像的质量往往并不理想，存在的主要问题是空洞问题、重叠问题和重采样问题。

空洞问题是虚拟视点合成的最大难点所在。现在对空洞问题的研究已经有很多。预处理法是对场景深度图像采用二维非对称高斯滤波器通过平滑预处理的方法以改善其不连续性，这种方法可以较好地改善深度的不连续性，并能最大程度地保留物体边缘信息。但从客观上来说，由于对深度光滑已完全改变了三维场景中物体的实际深度，所以这种方法会导致绘制出的图像中的物体出现严重的变形，合成图像的视觉效果也会大大降低。图像修复(Image Inpainting)是利用背景、纹理和相邻像素对虚拟视点图像中的空洞进行填充。这类方法对复杂度比较高的场景进行视点生成时，不仅合成的效果比较差，而且计算复杂度也特别高。

解决重叠问题的最简便易行的算法是简单的顺序绘制。这种方法假设了在DIBR映射时，虚拟视点中物体的左右关系与在参考视点中的顺序基本相同。当两个物体的景深差别不大时，这种左右位置关系可以较好地维持应有的顺序而不改变。然而，如果它们在三维空间中的深度相差较大，那么这两个物体经过DIBR映射后，其空间位置排列顺序就有可能会被颠倒。也就是说，DIBR在合成虚拟视点图像时，可能会错误地把参考视点图像中原来在相对右边的物体映射到了左边。因此，虽然这种顺序绘制的视点合成算法简单易行，但在解决重叠问题时效果并不理想。Chen等提出了另一种视点独立可见优先算法。但这种算法也不能完全解决重叠问题。比较常用并且有效的算法是Z-Buffer算法。该方法首先需要为虚拟视点图像平面上的所有像素点开辟一个适当大小的缓存。当绘制新视点时，就可以把与虚拟视点图像中的该像素对应的在参考视点图像中的像素点的深度值存储到与其对应的缓存中。因此，虚拟视点图像中该像素点的像素值，可在该像素点对应的缓存内通过选择具有最小深度值的像素点作为虚拟视点图像中该像素点的估计值。该方法能够比较有效地解决重叠问题，算法复杂度也较低。然而，该算法的不足之处就是需要开辟一些存储空间，从而能够为虚拟视点图像平面中的所有像素分配一个适当大小的缓存。

解决重采样的算法已有很多种。最临近点插值法简单地把非整数点的像素值赋值给临近的整数点。然而，这种方法通常会导致虚拟视点图像出现细小的空洞，降低了的合成图像的视觉效果。子像素视点合成算法在合成前对参考图像进行上采样，以增加3D映射时图像的分辨率，然后对合成后的结果进行下采样得到最终的虚拟视点图像。由于这种方法是对参考图像上采样后的图像进行处理，因而合成时的计算量将会大大地增加。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种用于车载多目摄像机环视系统的虚拟视点合成方法，合成效果好，虚拟视点图像质量高，能够用于道路交通视景中。

本发明是通过以下技术方案来实现：

一种用于车载多目摄像机环视系统的虚拟视点合成方法，包括如下步骤；

步骤S1：向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；

步骤S2：根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3：根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4：利用左右视点预测图，合成虚拟视点图像；合成时步骤如下；

步骤S41，根据左右视点深度图，计算得到左右视点深度可信图，

左视点深度可信图计算公式为：