[发明专利]一种基于深度卷积网络的双目深度估计方法

摘要

本发明涉及一种基于深度卷积网络的双目深度估计方法，包括：S1、搭建多尺度连接网络模型；将经过特征提取塔得到的左图特征与右图特征做变换，得到像素点之间的相关性；采用一维搜索构建匹配成本；将双目图像到深度图的映射看作分类问题，像素点的深度为其所有可能深度和该深度可能性的加权和；S2、对数据集进行零均值归一化处理，得到利于深度卷积网络处理的训练集；S3、根据多尺度连接网络模型，设置训练参数，以最小化损失函数为优化目标，利用最优化手段对多尺度连接网络模型进行训练，找到最优的模型参数；S4、将待处理的图像输入多尺度连接网络模型中，得到对应的深度图。

主权项

1.一种基于深度卷积网络的双目深度估计方法，包括步骤如下：S1、搭建多尺度连接网络模型，该模型包括多个不同的卷积层、反卷积层、激活层、线性上采样层和跨尺度特征连接，所有卷积层和反卷积层的卷积核大小都为3×3；从第一层到第十层构成一个特征提取塔，对输入的双目图像分别提取高级特征,且左图和右图的特征提取塔权值共享；特征提取塔的第四层、第七层、第十层为局部纹理采样模块，该模块由一层步长为2的卷积层和一层空洞间隙为1的空洞卷积并行组成；将经过特征提取塔得到的左图特征fl与右图特征fr做如下式的变换：该公式表示：左图特征以xl为中心、k为半径的特征块与右图特征以xr为中心、k为半径的特征块进行卷积得到两像素点xl、xr之间的相关性c(xl，xr)；利用xl、xr之间的相关性，采用一维搜索构建匹配成本，即对左图特征fl中以xl为中心、k为半径的特征块，计算右图特征fr中与xl同一行的特征块之间的相关性，且搜索范围为d；于是构成H×W×d的矩阵作为匹配成本；利用卷积对该匹配成本进行特征提取，形成匹配成本特征，提供给后续的深度回归层；将双目图像到深度图的映射看作分类问题，先使用softmax函数将每个像素点的匹配成本特征Cd转换成概率分布，再使用下式进行深度回归：其中，表示预测像素点的深度，D_max表示需要估计的最大视差，d为对应于深度概率分布σ(‑C_d)的各个深度值，即该像素点的深度为其所有可能深度和该深度可能性的加权和；多尺度连接网络的第十三层、十六层、二十层为步长为2的反卷积层，将上一层的匹配成本特征扩张一倍，再利用上述的深度回归方法分别得到四分之一、二分之一和全分辨率的深度图；将深度回归前的匹配成本特征使用双线性上采样，扩张一倍分辨率，与下一级的匹配成本特征串联，得到信息更丰富的匹配成本特征；S2、对数据集进行零均值归一化处理，得到利于深度卷积网络处理的训练集；S3、根据多尺度连接网络模型，设置训练参数，以最小化损失函数为优化目标，利用最优化手段对多尺度连接网络模型进行训练，找到最优的模型参数；S4、将待处理的图像输入多尺度连接网络模型中，得到对应的深度图。