[发明专利]基于两层全连接条件随机场模型的深度图结构修复方法

说明书

本发明公开了一种基于两层全连接条件随机场模型的深度图结构修复方法，向第一层全连接条件随机场模型中输入彩色图和深度图，通过最小化第一层全连接条件随机场模型的能量函数，得到粗略恢复的深度图；将粗略恢复的深度图输入第二层全连接条件随机场模型，通过最小化第二层全连接条件随机场模型的能量函数，得到精确恢复的深度图。本发明不仅能精确地恢复包含严重结构失真的深度图，并且有效地解决了彩色图纹理映射问题。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于两层全连接条件随机场模型的深度图结构修复方法。

背景技术

随着深度数据获取技术的发展，深度图被广泛的应用于各种三维视觉任务中，例如：三维重建、机器人导航、虚拟现实等。目前主流的深度图获取方式主要分为两种。第一种是根据一张或多张彩色图来计算深度图，如立体匹配或基于深度神经网络进行估计的方法。第二种是通过物理传感器来获取深度图，如TOF或结构光传感器。然而由于目前技术的不成熟，这两类方法均存在许多缺陷。例如：立体匹配方法计算的深度图在相应彩色图的弱纹理区域容易产生内容缺失；基于深度神经网络进行估计的深度图的几何结构往往不够准确；TOF传感器获取的深度图的分辨率通常较低且含有噪声；结构光传感器获取的深度图通常含有大量的空洞区域。因此，如何修复深度图已经成为三维视觉领域的一道难题。

不同于彩色图，深度图的几何结构可以额外地提供物体的几何结构，因此深度图的几何结构在其实际应用中扮演着重要的角色。例如在3D-TV系统中，虚拟视点合成要求相同视点的彩色图与深度图的几何结构应当高度对齐，否则将会在合成图像中引起严重的裂纹与空洞。然而由于上述深度图获取技术的不成熟，在实际场景中，深度图的几何结构通常会受到各种各样的严重损伤，进而造成深度图包含严重的结构失真。因此，如何精准地修复深度图的几何结构已经成为深度图修复的关键问题之一。

传统的图像修复方法主要是基于图像滤波与优化框架来进行修复工作的。但由于彩色图与深度图之间的特性不同，直接使用传统方法的效果不佳，因此出现了大量针对于深度图进行修复的方法。目前主流的深度图修复方法是通过彩色图来引导深度图的恢复，其主要分为三种：基于图像滤波的修复方法、基于优化的修复方法、基于神经网络的修复方法。基于图像滤波的修复方法通常是通过改造传统的图像滤波器来进行深度图的恢复，如加权均值滤波器、加权中值滤波器、双边滤波器等。现存的此类方法通常在深度图几何结构被严重损坏时无法工作。基于优化的修复方法通常是利用马尔科夫随机场模型等全局优化框架进行深度图修复，现存的此类方法主要专注于去噪、空洞填充、缺失内容补全、超分辨率等问题，深度图的几何结构仍然没有被精准地恢复。基于神经网络的修复方法通常是使用已经训练好的神经网络对深度图进行修复，但此类方法修复的深度图精度不足，几何结构往往不够准确且存在边界模糊等现象。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于两层全连接条件随机场模型的深度图结构修复方法，能够在深度图包含严重结构失真的情况下，精确修复失真的几何结构。

本发明采用以下技术方案：

基于两层全连接条件随机场模型的深度图结构修复方法，向第一层全连接条件随机场模型中输入彩色图和深度图，通过最小化第一层全连接条件随机场模型的能量函数，得到粗略恢复的深度图；将粗略恢复的深度图输入第二层全连接条件随机场模型，通过最小化第二层全连接条件随机场模型的能量函数，得到精确恢复的深度图。

具体的，在第一层全连接条件随机场模型中，深度图恢复通过最小化能量函数来实现，能量函数形式如下：

其中，x是恢复后的深度图，x_i是在恢复后的深度图中像素点i的深度值，ω_u和ω_p是一元与二元势函数的权重，ψ_u(x_i)是一元势函数，ψ_p(x_i,x_j)是二元势函数。