[发明专利]一种基于卷积神经网络的端到端双目立体匹配方法

权利要求书

1.一种基于卷积神经网络的端到端双目立体匹配方法，其特征在于包括以下步骤：

步骤1：收集数据集并进行预处理，所述数据集来源于两个开源数据集，SceneFlow和KITTI 2015，前者包括训练集和验证集，后者包括训练集和测试集，网络训练在pytorch框架下进行；

步骤2：构建立体匹配网络，所述的立体匹配网络包括特征提取模块、特征融合模块、构建代价体模块、代价聚合模块以及视差回归模块；

步骤3：模型训练，将预处理后的训练数据集的左右视图输入到立体匹配网络的模型中进行前向传播计算，得到最终视差图；然后，将输出的最终视差图和真实视差图输入到损失函数中，利用批量梯度下降法进行反向传播，直至模型达到收敛；

步骤4：利用训练完成的立体匹配网络模型进行双目立体匹配。

2.根据权利要求1所述的基于卷积神经网络的端到端双目立体匹配方法，其特征在于，步骤1中所述的预处理通过以下步骤实现：

（1）对数据集中每个输入的左右视图进行随机裁剪至256×512；

（2）对裁剪后的图片进行归一化操作。

3.根据权利要求1所述的基于卷积神经网络的端到端双目立体匹配方法，其特征在于，步骤2中所述的构建立体匹配网络通过以下步骤实现：

（1）特征提取模块：

（1-1）利用3个卷积层对输入的左右视图进行一次下采样，每个卷积层均使用3个3×3、步长为2的卷积核对输入的左右视图进行下采样；

（1-2）利用4个残差层进一步对输入左右视图进行处理，其中第一个残差层包括3个残差块，第二个包括16个残差块；第三个包括3个残差块，第四个包括3个残差块；每个残差层的卷积核均为3×3，特征维度均为32，除了第二个残差层中的残差块步长为2，其余步长都为1；经过上述卷积操作后，输出是两个尺寸为H/4×W/4×F的一元特征，其中H、W分别表示原始输入图像的高和宽，F表示特征维度；

（2）特征融合模块：

（2-1）对上述得到的特征进行多尺度池化操作，每层均采用空洞卷积进行池化操作；

（2-2）使用1x1的卷积核对上述池化得到的多尺度的特征以及上述残差层第二层和第四层的输出进行特征融合，输出是两个尺寸为H/4×W/4×F的一元特征，其中H、W分别表示原始输入图像的高和宽，F表示特征维度；

（3）构建代价体模块：

（3-1）将包含上下文信息的参考特征图与对应的包含上下文信息的目标特征图之间在每个可能视差下进行连接；

（3-2）将上述输出特征图打包成一个4维代价体，所述的代价体模块输出的代价体维度为H/4×W/4×D/4×F，其中H、W分别表示原始输入图像的高和宽，D表示最大的可能视差值，F表示特征维度；

（4）代价聚合模块：

（4-1）使用2个3D卷积层对上述得到的代价体进行卷积，每个3D卷积层均为2个3×3×3的卷积核，特征维度均为32，并将第1个3D卷积层的输出叠加在第2个3D卷积层的输出；

（4-2）使用四个编解码结构串联起来进行堆叠，其中所述的编解码结构包括编码和解码两个阶段，编码阶段包含4个3D卷积层；在解码阶段只应用两个3D反卷积层进行上采样，对于第一个反卷积层从编码阶段加上对应维度的特征图以保留粗糙的高层信息和详细的低层信息；

（4-3）对于每个编解码结构，使用两个3D卷积层进一步减少特征维度来获得正则化特征图，所述的正则化特征图维度为H/4×W/4×D/4×1，其中H、W分别表示原始输入图像的高和宽，D表示最大的可能视差值；

（5）视差回归模块：

（5-1）对匹配代价体的值取相反数；

（5-2）使用softmax函数将匹配代价体转换为相应的匹配概率；其输入是正则化特征图，输出是维度为H×W的视差图，其中H、W分别表示原始输入图像的高和宽。