[发明专利]一种基于卷积神经网络的深度图置信度估计方法

说明书

本发明公开了一种基于卷积神经网络的深度图置信度估计方法，用于多目立体匹配算法所生成深度图的质量评估和后处理操作，该方法包括如下步骤：由多目立体匹配算法生成的深度图计算截断符号距离函数图和法线图；利用U型网络结构对所述截断符号距离函数图、法线图和彩色图进行特征提取，得到特征图；使用卷积长短时记忆结构、预测模块、细化模块和多监督方法由所述特征图预测深度图的置信度并细化估计结果。本发明能对各种多目立体匹配算法所生成的深度图进行质量评估，能鲁棒地估计出多目立体匹配中的深度图置信度，以利于多目立体匹配算法的评估和对深度图的后处理。

技术领域

本发明涉及计算机视觉与深度学习领域，具体是一种利用卷积神经网络对多视立体匹配中的中间结果进行特征提取及置信度预测，以完成对深度图的质量评估。

背景技术

深度图质量评估是计算机视觉领域的一个基本课题，目前基于深度学习的方法基于单目或双目立体匹配输出的深度图和原始彩色图，构建卷积神经网络预测得到置信度图，这种方法无法充分利用多目立体匹配得到的多模态数据，并且由于网络结构简单而产生较低的精度。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种基于卷积神经网络的深度图置信度估计方法，从多视立体匹配算法所估计的中间结果中提取特征并预测深度图置信度的技术问题。

为了实现以上目的，本发明所述的一种基于卷积神经网络的深度图置信度估计方法，该方法的具体步骤如下：

一种基于卷积神经网络的深度图置信度估计方法，该方法的具体步骤如下：

由多目立体匹配算法生成的深度图计算截断符号距离函数图和法线图；

利用U型网络结构对所述截断符号距离函数图、法线图和彩色图进行特征提取，得到特征图；

使用卷积长短时记忆结构、预测模块、和细化模块由所述特征图预测深度图的置信度并通过多监督方法细化估计结果。

进一步地，所述由多目立体匹配算法生成的深度图计算截断符号距离函数图和法线图，包括：

像素和其4-邻域构成局部窗口，假设窗口内的点所对应的三维点在同一个平面上，则从所述三维点构成的向量中，任选两个不在同一平面的向量进行叉乘，即得到所述像素对应的法线；

多目立体匹配的几何误差用三维点的Z坐标与平面深度之差来表示，所述几何误差是三维点到平面的距离的近似，将几何误差映射到预设范围内，并加权处理，使用逆深度来计算截断符号距离函数图。

进一步地，所述U型网络结构提取图像的高层次语义信息，包括编码和解码两个部分，每个编码子模块包括卷积、批归一化、非线性激活和最大池化四个操作，每个解码子模块包括转置卷积、卷积、批归一化和非线性激活四个操作。

进一步地，所述利用U型网络结构对所述截断符号距离函数图、法线图和彩色图进行特征提取，得到特征图，包括：

(a)对输入图像进行编码：每个编码子模块的输入为前一个子模块的输出，经过每个子模块后输出特征图的高和宽各缩小到输入的1/2，通道数增加到输入的2倍，保留每个子模块的卷积结果用于解码；

(b)对编码模块的输出进行解码：每个解码子模块的输入为前一个子模块的输出，经过每个子模块后输入特征图的高和宽各增加到输入的2倍，通道数减小到输入的1/2。

进一步地，所述使用卷积长短时记忆结构、预测模块、和细化模块由所述特征图预测深度图的置信度，包括：多次迭代，在每次迭代中，使用卷积长短时记忆结构保留特征图在多次迭代时的长时和短时记忆，之后使用卷积层构成的预测模块得到每次迭代的置信度图，使用由卷积层构成的细化模块对预测得到的结果进行细化。