[发明专利]一种多视点深度视频预处理方法

说明书

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种多视点深度视频预处理方法。

背景技术

自由视点视频（FVV，Free Viewpoint Video）可以提供某一场景或拍摄对象在任意角度和方位的信息，能让观众体验到更真实的立体感，在体育赛事直播、影视娱乐、视频监控等领域有广阔的应用前景，是新一代多媒体视频系统的发展方向。在基于多视点彩色视频加深度视频（MVD，Multi-view plus Depth）的自由视点视频系统中，多视点视频信号主要由多视点彩色视频序列信号和与多视点彩色视频序列信号对应的多视点深度视频序列信号组成，但是MVD数据量是普通单通道视频的十几倍甚至是几十倍。深度视频序列反映的是对象物体距离相机的远近，它将实际距离值量化到[0，255]，在基于深度的虚拟视点绘制（DIBR，Depth Image Based Rendering）过程中，深度视频在服务器端被压缩传输至用户端用于虚拟视点的绘制。在基于多视点彩色视频加深度视频的自由视点视频系统中，可以传输两个视点的彩色视频和与其相应的深度视频，然后生成中间的若干个虚拟视点，这样可以大大降低MVD编码传输的数据量。

深度视频的获取方法主要有两种，第一种方法是采用基于时间飞行原理的深度相机直接获取，但是构建多视点深度视频采集系统价格昂贵，并且采集距离有限，这些因素很大程度地制约了深度相机的普及；第二种方法是利用捕获的多视点彩色视频通过深度估计软件（DERS，Depth Estimation Reference Software）得到深度视频，该方法的应用越来越广泛。然而，由深度相机获取或者由深度估计软件获得的深度视频不是很准确，大大降低了深度视频时间、空间相关性，进而影响了其压缩效率，而且深度值骤变容易导致虚拟视点绘制时出现空洞，影响绘制质量。因此，为了提高虚拟视点的绘制质量以及深度视频的压缩效率，需要在编码前对深度视频进行预处理。

发明内容

本发明所要解决的技术问题是提供一种多视点深度视频预处理方法，其能够有效地提高深度视频的压缩编码效率和虚拟视点图像的绘制质量。

本发明解决上述技术问题所采用的技术方案为：一种多视点深度视频预处理方法，其特征在于它的处理过程为：首先，将待预处理的深度视频序列中的每帧深度视频帧划分为连续区域和不连续区域；然后，将待预处理的深度视频序列中的每帧深度视频帧的连续区域划分为前景区域和背景区域；接着，将待预处理的深度视频序列中的每帧深度视频帧划分为边界区域和非边界区域；最后对每帧深度视频帧中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点进行保护，对每帧深度视频帧中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理，对每帧深度视频帧中属于前景区域且属于非边界区域的所有像素点、属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理。

本发明的一种多视点深度视频预处理方法，其具体包括以下步骤：

①将待预处理的深度视频序列记为{D(M,N,k)}，其中，M表示{D(M,N,k)}中的深度视频帧的水平分辨率，N表示{D(M,N,k)}中的深度视频帧的垂直分辨率，D(M,N,k)表示{D(M,N,k)}中的第k帧深度视频帧，1≤k≤K，k的初始值为1，K表示{D(M,N,k)}中包含的深度视频帧的帧数；

②将{D(M,N,k)}中当前正在处理的第k帧深度视频帧D(M,N,k)定义为当前深度视频帧；

③根据当前深度视频帧D(M,N,k)中的每个像素点的像素值，将当前深度视频帧D(M,N,k)划分为连续区域和不连续区域；

④根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值，将当前深度视频帧D(M,N,k)中的连续区域划分为前景区域和背景区域；

⑤根据当前深度视频帧D(M,N,k)中的像素点的像素值，将当前深度视频帧D(M,N,k)划分为边界区域和非边界区域；

⑥对当前深度视频帧D(M,N,k)中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护；

对当前深度视频帧D(M,N,k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理；