[发明专利]一种基于卷积神经网络的深度图置信度估计方法

权利要求书

1.一种基于卷积神经网络的深度图置信度估计方法，其特征在于：该方法的具体步骤如下：

由多目立体匹配算法生成的深度图计算截断符号距离函数图和法线图；

利用U型网络结构对所述截断符号距离函数图、法线图和彩色图进行特征提取，得到特征图；

使用卷积长短时记忆结构、预测模块、和细化模块由所述特征图预测深度图的置信度并通过多监督方法细化估计结果。

2.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法，其特征在于：

所述由多目立体匹配算法生成的深度图计算截断符号距离函数图和法线图，包括：

像素和其4-邻域构成局部窗口，假设窗口内的点所对应的三维点在同一个平面上，则从所述三维点构成的向量中，任选两个不在同一平面的向量进行叉乘，即得到所述像素对应的法线；

多目立体匹配的几何误差用三维点的Z坐标与平面深度之差来表示，所述几何误差是三维点到平面的距离的近似，将几何误差映射到预设范围内，并加权处理，使用逆深度来计算截断符号距离函数图。

3.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法，其特征在于：

所述U型网络结构提取图像的高层次语义信息，包括编码和解码两个部分，每个编码子模块包括卷积、批归一化、非线性激活和最大池化四个操作，每个解码子模块包括转置卷积、卷积、批归一化和非线性激活四个操作。

4.根据权利要求3所述的一种基于卷积神经网络的深度图置信度估计方法，其特征在于：

所述利用U型网络结构对所述截断符号距离函数图、法线图和彩色图进行特征提取，得到特征图，包括：

(a)对输入图像进行编码：每个编码子模块的输入为前一个子模块的输出，经过每个子模块后输出特征图的高和宽各缩小到输入的1/2，通道数增加到输入的2倍，保留每个子模块的卷积结果用于解码；

(b)对编码模块的输出进行解码：每个解码子模块的输入为前一个子模块的输出，经过每个子模块后输入特征图的高和宽各增加到输入的2倍，通道数减小到输入的1/2。

5.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法，其特征在于：

所述使用卷积长短时记忆结构、预测模块、和细化模块由所述特征图预测深度图的置信度，包括：多次迭代，在每次迭代中，使用卷积长短时记忆结构保留特征图在多次迭代时的长时和短时记忆，之后使用卷积层构成的预测模块得到每次迭代的置信度图，使用由卷积层构成的细化模块对预测得到的结果进行细化。

6.根据权利要求5所述的一种基于卷积神经网络的深度图置信度估计方法，其特征在于：

迭代地从特征图中预测并细化置信度图，将U型网络结构提取到的U-Net特征作为固定参考信息，每轮迭代中，将U-Net特征和上一轮迭代的预测输出串联，作为本次迭代的输入，然后依次经过卷积长短时记忆结构、预测模块、和细化模块；

循环上述卷积长短时记忆结构、预测模块、和细化模块多次得到细化后的置信度图，在不同次迭代间共享模块的权重；

在首轮迭代中将预测输出初始化为像素值为0的图，在最后一轮迭代中只使用卷积长短时记忆结构和预测模块来获取预测结果。

7.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法，其特征在于：

所述卷积长短时记忆结构用于处理序列数据，基础结构是元胞，元胞内包括遗忘门、输入门和输出门，分别决定该元胞需要遗忘、存储和输出的信息。

8.根据权利要求1所述的一种基于卷积神经网络的深度图置信度估计方法，其特征在于：

所述细化模块由多个卷积层构成，输入是每轮迭代的预测结果，输出是由预测结果提取到的新特征，将所述新特征和U型网络结构提取到的U-Net特征串联作为新一轮预测的输入。