[发明专利]基于深度信息的复杂场景分层方法

说明书

技术领域

本发明属于图像修复的多媒体技术领域，具体涉及一种基于深度信息的复杂场景分层方法。

背景技术

最近3DTV和3D电影的火热表明了观众对3D内容兴趣与日俱增。一般来说，对于3D视频，需要用大量视图用来提供三维深度。然而如何在传输中处理大量的视图成为难题。因此需要一种方法利用有限数量的视图来支持生成高质量的三维视频。

在过去，由于深度照相机昂贵的价格，所以深度信息是很难获得的。然而在现在，高性能低价格的深度相机变得普遍起来。利用颜色图和其对应的深度图来合成虚拟视点的方法称为DIBR技术。利用深度和相机信息，将所有的像素点重新投影到三维世界中。再将世界坐标中的像素点重新投影到虚拟视点的像平面上，这就是所谓的虚拟视点合成技术。虚拟视点合成技术可以在三维视频传输上减少大量的存储空间和传播带宽。

但是在虚拟视点合成技术中有一个关键问题，部分背景在进行视点变换之后，由于前景背景的相对位置移动，造成了从原视点不可见的背景在另一个视点可见，从而在新视点的图像中产生没有信息的空洞区域，还有一种情况是因为深度图深度不精确，导致像素点的相对移动距离变化而出现的空洞。

对于虚拟视点合成技术而言，由于深度图的不精确或者深度图的缺失同时场景内容相对复杂的情况，造成空洞的不易修复。因此在虚拟视点合成前需要对深度图进行恢复，从而保证虚拟视点合成的正确性。当然前人也研究了一些方法，但是针对复杂场景，简单的滤波方法或者一般的分层修复手段并不能有很好的修复效果。

发明内容

本发明针对现有深度分层技术在复杂场景应用方面的不足，依据复杂场景的深度信息对深度图进行分层使得图像修复效果更优。根据虚拟视点合成中前景信息不会丢失，丢失信息均为背景信息以及复杂场景的特殊性，因此本发明利用深度信息来对复杂场景进行分层以便于更好的进行修复，即对复杂场景的深度进行标记，通过前景和背景的深度差，将一个复杂场景分成多个简单场景。

本发明解决其技术问题所采用的技术方案如下：

步骤一：设深度图为I，空洞点RGB像素值设为(0 255 0)，遍历深度图的所有像素点，设置空洞数组fillregion，将像素点为空洞像素值的点在fillregion中设为1，非空洞像素值的点为0，根据空洞点的八连通性将空洞分为多个空洞块。

步骤二：对每个空洞块，设空洞边缘为设点p在边缘上，遍历上每个p点，p点对应的深度值为Z(p)，将Z(p)min即深度最小值添加到FG数组，Z(p)max即深度最大值添加到BG数组，得到FG数组和BG数组。

步骤三：对FG数组和BG数组进行遍历，得到其中的FGmax和BGmin，如果FGmax>BGmin，将背景部分深度值小的图像区域，即离相机更近的那个空洞块及其周边区域提取出来，作为一个单独的分层进行处理。

步骤四：重复步骤三，直到FGmax<BGmin。将剩下的空洞区域作为最后一个分层处理；这样便将整个复杂场景分为多个简单场景，完成最终的分层。

本发明的有益效果：本发明完美地将复杂场景修复与简单场景修复结合起来，采用深度值分层的方式将复杂场景分为多个简单场景，对后续的图像修复工作有巨大的帮助。

具体实施方式

以下将对本发明的实施例作进一步说明

实施例的具体步骤是：

步骤一：设深度图为I，空洞点RGB像素值设为(0 255 0)(即为纯绿色)，遍历深度图的所有像素点，设置空洞数组fillregion，将像素点为空洞像素值的点在fillregion中设为1，非空洞像素值的点为0，根据空洞点的八连通性将空洞分为多个空洞块。

步骤二：对每个空洞块，设空洞边缘为设点p在上，遍历上每个p点，p点对应的深度值为Z(p)，将Z(p)min即深度最小值添加到FG数组，Z(p)max即深度最大值添加到BG数组，得到FG数组和BG数组。

步骤三：对FG数组和BG数组进行遍历，得到其中的FGmax和BGmin，IF FGmax>BGmin，意味着其中一个空洞块的背景部分深度值小于另一个空洞块的前景部分深度值。因此需要将背景部分深度值小的图像区域，即离相机更近的那个空洞块及其周边区域提取出来，作为一个单独的分层进行处理。

步骤四：重复步骤三，直到FGmax<BGmin。将剩下的空洞区域作为最后一个分层处理。对每个分层其深度阀值为threshold＝α*FG+β*BG，其中(α+β＝1)。

这样便将整个复杂场景分为多个简单场景，完成最终的分层。