[发明专利]虚拟视点图像后处理方法

说明书

技术领域

本发明涉及图像处理，特别是涉及一种虚拟视点图像后处理方法。

背景技术

随着数字媒体技术的快速发展及生活水平的不断提高，人们对于视频娱乐节目提出了更高的要求，以固定视点观看的传统平面(二维)视频，已无法满足人们的需求。在这样的形势下，三维电视(three-dimensional TV，3DTV)/自由视点视频(free-viewpoint video，FVV)应运而生，三维电视和自由视点视频增加了场景对象的深度信息，增强了视觉的真实感，使图像不再局限于显示屏平面，仿佛能够走出显示屏，使观众感到景物迎面而来，恍若身临其境，感受到了真切的深度感和沉浸感。

三维电视和自由视点视频中的一项关键技术是虚拟视点图像的生成，它可以保证在客户端呈现出更多的不同视点的图像，使观众能够选择从任意视角进行观看视频节目，以增强了视觉的真实感。虚拟视点图像的生成可以分为：基于模型的绘制(Model Based Rendering，MBR)和基于图像的绘制(Image-Based Rendering，IBR)两种方式。基于模型的绘制采用三维建模的方式来获取任意视点的图像，它需要精确地模型和纹理分析，具有数据量小，交互性好的特点，然而绘制质量较低，同时存在场景建模困难的特点，不利于三维视频系统中的应用。基于图像的绘制采用插值等方式来获取虚拟视点，对场景理解的依赖度较低，但该方法一般基于较密集相机阵列采集的图像，需要庞大的图像数据以保证较好的交互性和高质量。

典型方法如基于光线空间的绘制、基于视差绘制方法或基于深度图的虚拟视点绘制(Depth Image Based Rendering，DIBR)是基于模型和基于图像的折中方案，视差或深度作为额外的几何信息辅助生成高质量绘制图像，避免基于图像的方法的大数据量问题，也避免了基于模型的方法的几何建模问题。基于视差的方法主要针对于平行相机阵列，基于深度图的绘制方法则对不同相机阵列有更好的适应性，是三维视频系统中的主流绘制方法。

基于深度图的绘制方法是一种利用彩色图及相应深度图生成虚拟视点图像的方法，在编码端只需压缩、编码较少视点的彩色图像信息，大大减少了在编码、传输过程中的数据量，而在解码端通过快速的虚拟视点绘制可以得到较多视点的彩色图像信息，以满足人们从任意视角观看视频节目的需求，该技术已被动态图像专家组(Moving Pictures Experts Group，MPEG)组织确认为三维视频系统中虚拟视点绘制的候选方案。基于深度图的虚拟视点绘制技术核心思想为：(1)利用深度信息，将参考图像上所有的像素点重新映射到它们对应的3维空间中；(2)这些3维空间点再被映射到目标图像平面。这个从2维到3维的重映射以及从3维再到2维的映射称为三维图像变换(3D Image Warping)。在三维图像变换的过程中，会由于遮挡、暴露或取整运算等在虚拟视点图像中产生了很多的空洞，以及由于通过深度估计得到的深度图中对象边缘突变、部分深度值不准确等造成的重采样、伪轮廓等问题，影响了虚拟视点图像的主、客观质量。

针对上述虚拟视点图像存在的问题，在虚拟视点图像后处理方法中，有人在空洞填补的过程中引入深度信息作为辅助，将深度信息加入到待修复区域优先级的计算和代价函数的表征中，仍存在许多因填补错误所造成的失真。同时在使用深度信息的时候没有对绘制得到的虚拟视点深度图像中的空洞先进行填补，造成所使用的深度信息存在很大的失真，以致优先级的判断和代价函数的计算造成一定的影响。另外，如果需要进行空洞填补的是运动较为剧烈的序列，利用加权平均填补的方式填补后，可能会在空洞区域会形成一定的“模糊”区域，影响主观质量。

发明内容

基于此，有必要提供一种能够有效填补空洞提高虚拟视点图像质量的虚拟视点图像后处理方法。

一种虚拟视点图像后处理方法，包括以下步骤：

选取待处理图像帧的彩色图像参考帧及深度图像参考帧；

获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口；

选取与所述待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞。

在其中一个实施例中，所述虚拟视点图像后处理方法还包括：