[发明专利]一种虚拟视点图像合成方法及装置

权利要求书

1.一种虚拟视点图像合成方法，其特征在于，该方法包括：

步骤一：将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；

步骤二：利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；

步骤三：利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。

2.根据权利要求1所述的方法，其特征在于，在步骤二和步骤三之间，该方法还包括：

对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整。

3.根据权利要求2所述的方法，其特征在于，所述对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整，包括：

在HSV颜色空间，根据主要虚拟视点图像，调整辅助虚拟视点图像的亮度。

4.根据权利要求1所述的方法，其特征在于，在步骤三之后，该方法还包括：

利用基于深度图的非对称腐蚀图像修复技术，对主要虚拟视点图像上的剩余空洞区域进行填充。

5.根据权利要求1、2、3或4所述的方法，其特征在于，步骤一包括：

根据主要参考视点的深度图像，将主要参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成主要虚拟视点图像；

根据辅助参考视点的深度图像，将辅助参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成辅助虚拟视点图像。

6.根据权利要求1、2、3或4所述的方法，其特征在于，步骤二包括：

利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，以及主要虚拟视点图像的深度图像，消除主要虚拟视点图像上的裂纹和错误投影点；

利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，以及辅助虚拟视点图像的深度图像，消除辅助虚拟视点图像上的裂纹和错误投影点。

7.一种虚拟视点图像合成装置，其特征在于，该装置包括：

图像变换单元，用于将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；

图像优化单元，用于利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；

补洞单元，用于利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。

8.根据权利要求7所述的装置，其特征在于，所述图像优化单元，还用于对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整。

9.根据权利要求8所述的装置，其特征在于，所述图像优化单元，在HSV颜色空间，根据主要虚拟视点图像，调整辅助虚拟视点图像的亮度。

10.根据权利要求7所述的装置，其特征在于，所述补洞单元，还用于利用基于深度图的非对称腐蚀图像修复技术，对主要虚拟视点图像上的剩余空洞区域进行填充。

11.根据权利要求7、8、9或10所述的装置，其特征在于，所述图像变换单元，根据主要参考视点的深度图像，将主要参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成主要虚拟视点图像；以及，根据辅助参考视点的深度图像，将辅助参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成辅助虚拟视点图像。

12.根据权利要求7、8、9或10所述的装置，其特征在于，所述图像优化单元，利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，以及主要虚拟视点图像的深度图像，消除主要虚拟视点图像上的裂纹和错误投影点；利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，以及辅助虚拟视点图像的深度图像，消除辅助虚拟视点图像上的裂纹和错误投影点。