[发明专利]一种虚拟视点图像合成方法及装置

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种虚拟视点图像合成方法及装置。

背景技术

由于能够为使用者提供强烈的视觉冲击效果和身临其境的感觉，立体电视技术成为多媒体技术领域一个新的研究热点。立体电视利用人的立体生理视觉原理，使电视观看者的左右眼睛看到的图像存在一个视差，从而感受到立体效果。自由视点电视是在立体电视的基础上进一步发展的，不但让使用者感受到立体效果，同时还可以根据使用者与电视之间相对位置的不同提供不同的视点，并且随着使用者位置的变化进行视点的自由转换，使得使用者达到身临其境的感觉。

自由视点视频由于在播放端需要播放多个视点视频，所以信息采集量巨大，实现全部视点视频的采集成本较高，所以实际应用中不现实。虚拟视点合成技术解决了自由视点视频的这种局限性，视频采集端只需要采集若干特定位置的视点视频，将这些视频传输到视频播放端，经过虚拟视点合成技术，生成相应视点图像，从而大大降低了传输数据量，节省带宽。基于深度图渲染技术的虚拟视点合成方法利用已知真实视点的视频帧，根据相应深度图像，合成虚拟视点图像，为自由视点电视提供相应视点图像，因而具有重要的应用和研究价值。

但是，现有的视点合成技术中，由于深度图预处理、虚拟视点图像修复算法复杂，计算量大，造成虚拟视点图像合成时间长，并且生成的虚拟视点图像存在明显的伪影，影响视觉效果。

发明内容

本发明实施例提供了一种虚拟视点图像合成方法及装置，用以提高虚拟视点图像的合成效率及质量。

本发明实施例提供的一种虚拟视点图像合成方法包括：

步骤一：将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；

步骤二：利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；

步骤三：利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。

本发明实施例提供的一种虚拟视点图像合成装置包括：

图像变换单元，用于将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；

图像优化单元，用于利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；

补洞单元，用于利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。

本发明实施例，将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充，填充后的主要虚拟视点图像即最终合成的虚拟视点图像，从而由于无需对深度图像进行预处理，提高了虚拟视点图像的合成效率，并且由于对虚拟视点图像的空洞区域进行填充，还提高了虚拟视点图像的质量。

附图说明

图1为本发明实施例提供的虚拟视点图像合成方法的原理示意图；

图2为本发明实施例提供的一种虚拟视点图像合成方法的流程示意图；

图3为本发明实施例提供的图像变换所得到的虚拟视点的彩色图像示意图；

图4为本发明实施例提供的图像变换所得到的虚拟视点的深度图像示意图；

图5为本发明实施例提供的对图像变换所得到的虚拟视点彩色图像进行图像裂纹处理的结果示意图；

图6为本发明实施例提供的对图像变换所得的虚拟视点深度图像进行图像裂纹处理的结果示意图；

图7为本发明实施例提供的对图像变换所得的虚拟视点图像的错误投影点的示意图；

图8为本发明实施例提供的对图像变换所得的虚拟视点图像的错误投影点的进行处理后的结果示意图；

图9为本发明实施例提供的由主要参考视点得到的虚拟视点图像的示意图；