[发明专利]一种视频图像处理方法及系统

说明书

技术领域

本发明涉及裸眼三维虚拟视点绘制技术领域，特别涉及一种视频图像处理方法。

背景技术

裸眼三维（Three Dimensions，3D）图像显示装置因具备立体视觉效果、方便等特点成为显示领域的发展趋势。对于绝大多数的裸眼3D图像显示装置均采用立体相机进行拍摄或利用普通视频源绘制虚拟视点对应的视频序列生成多路视频，然而，利用立体相机进行拍摄成本较高且使用摄像机完全同步比较困难，因此业界一般采用虚拟视点绘制技术生成多路视频。

虚拟视点绘制技术可分为两类：基于三维几何模型的绘制技术（Model Based Rendering，MBR）及基于图像的绘制技术(Image-Based Rendering，IBR)。其中，基于几何模型的绘制技术需利用计算机视觉和计算机图形学技术建立精确地三维几何模型，然后根据视点位置，经过一系列处理生成目标虚拟视点位置的图像序列。基于三维几何模型的绘制技术比较适用于简单的场景，对于比较复杂的场景，建模的复杂度较高，难以进行三维建模。

基于图像的虚拟视点绘制技术是根据参考图像生成虚拟视点图像的方法，根据其所采用的几何信息的多少，基于图像的虚拟视点绘制技术可分为：无需几何信息的基于图像的虚拟视点绘制技术，需要明确几何信息的基于图像的虚拟视点绘制技术，及使用隐含几何信息的基于图像的虚拟视点绘制技术。其中较常采用的是使用隐含几何信息的基于图像的虚拟视点绘制技术，此技术利用二维或三维图像映射生成新的图像。

基于深度图像算法（depth-image based rendering，DIBR）是一种使用隐含几何信息的基于图像的虚拟视点绘制技术，其利用包含深度信息的参考图像绘制新视点的图像，因其能减少参考图像数目，且绘制虚拟视点速度快而被广泛应用于绘制裸眼三维虚拟视点，但基于深度图像算法的裸眼三维虚拟视点绘制方法容易因深度图错误和视点间物体遮挡关系的变化而导致虚拟视点图像中出现空洞、虚拟边缘和几何形变等问题。

传统基于深度图像算法以绘制虚拟视点的方法为：通过结合视频序列时间上的相关性，提取背景信息，将背景图像和当前参考图像同时绘制至虚拟视点，利用背景来填补空洞。但此方法运算复杂度高、算法效率低，且渲染的立体效果不理想。

因此，有必要提供改进的技术方案以克服现有技术中存在的以上技术问题。

发明内容

本发明要解决的主要技术问题是提供一种视频图像处理方法视频图像处理方法，其具有较低的运算复杂度，较高的效率，且渲染的立体效果更加理想。

为解决上述技术问题，本发明提供了视频图像处理方法视频图像处理方法，所述多点视频序列生成方法包括接收待处理的二维视频序列，并判断所述二维视频序列是否发生场景切换；在所述二维视频序列未发生场景切换时，根据背景模型与所述二维视频序列的帧的差异获取运动目标图像的边缘；对所述二维视频序列进行下采样后，提取初步的深度图，并根据所述运动目标图像的边缘对所述初步的深度图的边缘进行校准，以获取最终的深度图；根据所述最终的深度图计算视差，以生成基准二路视图；及根据所述基准二路视图生成对应的多视点视频序列。

本发明还提供一种视频图像处理系统，其包括场景切换识别模块、运动目标图像边缘获取模块、深度图获取模块、基准二路视图获取模块及多视点视频序列生成模块。其中，所述场景切换识别模块用于接收待处理的二维视频序列，并判断所述二维视频序列是否发生场景切换。所述运动目标图像边缘获取模块用于在所述二维视频序列未发生场景切换时，根据背景模型与所述二维视频序列的帧的差异获取运动目标图像的边缘。所述深度图获取模块用于对所述二维视频序列进行下采样后，提取初步的深度图，并根据所述运动目标图像的边缘对所述初步的深度图的边缘进行校准，以获取最终的深度图。所述基准二路视图获取模块用于根据所述最终的深度图计算视差，以生成基准二路视图。所述多视点视频序列生成模块用于根据所述基准二路视图生成对应的多视点视频序列。

本发明的视频图像处理方法通过建立背景模型提取所述二维视频序列运动目标图像的边缘，对经过下采样处理后的深度图进行边缘校正，使生成的最终深度图更加准确，让最终生成的多视点视频图像的立体效果更加理想。此外，对所述二维视频序列进行下采样处理后计算视差，以生成基准二路视图，并根据所述基准二路视图生成对应的多视点视频序列，使最终生成的多视点视频图像不会产生空洞现象，渲染的立体效果更加理想。