[发明专利]一种基于空洞空间金字塔池化的立体匹配方法及系统

说明书

本发明给出了一种基于空洞空间金字塔池化的立体匹配方法及系统，包括对视点图像使用卷积神经网络进行特征提取，得到特征图；基于空洞卷积和空间金字塔池化方法，利用不同大小的扩张率从多个尺度对特征图提取像素的上下文信息；将得到的多个特征图维度使用堆叠的方式进行保存，取不同的视差值对所述特征图维度提取特征子图，构成匹配代价容器；基于3D卷积的方式，用3D卷积层对匹配代价容器进行卷积下采样和反卷积上采样后，基于双线性插值法进行上采样，对所述匹配代价容器中的所述特征子图进行尺寸恢复，最终得到视差图。有效的保存了特征图的维度，从而在之后的处理中有效地提取到所需要的图像特征，提高了处理的适应性，提升了立体匹配精度。

技术领域

本发明涉及图像处理技术领域，尤其是一种基于空洞空间金字塔池化的立体匹配方法及系统。

背景技术

双目立体视觉系统可以根据左右相机拍摄得到的场景图像，恢复图像中物体的位置、外部特征等信息，还可以恢复出场景里障碍物的位置。其本质是从二维图像中恢复出三维信息的问题。场景中的点在图像上的位置由摄像机成像的几何模型决定。

为了从二维图像中获取场景中物体的深度信息，双目立体视觉系统在左右两个位置放置相同参数的摄像机，从不同角度获取同一物体的图像信息，计算左右摄像机获得图片的相关性，获取隐含的视差信息，根据视差值计算图像的深度信息，即双目立体成像。这一过程模拟了人眼的视觉系统。

现有一些开放性的机构提出了带有ground truth的双目视觉图像集，因此基于有监督的机器学习方法在立体匹配上得到了广泛的发展。现有的一些基于深度学习的立体匹配方法使用卷积神经网络学习匹配代价，再将匹配代价融合到传统立体匹配方法中。这种算法依然存在人工设计的步骤，立体匹配算法相对复杂，鲁棒性较弱，处理新的场景图像时适应能力差，没有充分发挥卷积神经网络强大的特征学习能力。现阶段立体视觉的主流研究方向是构建一个端到端的卷积神经网络。

发明内容

本发明提出了一种基于空洞空间金字塔池化的立体匹配方法及系统，以解决上文提到的现有技术的缺陷。

在一个方面，本发明提出了一种基于空洞空间金字塔池化的立体匹配方法，该方法包括以下步骤：

S1:对视点图像的左视图和右视图使用卷积神经网络进行特征提取，得到左视点特征图和右视点特征图；

S2:基于空洞卷积和空间金字塔池化方法，利用不同大小的扩张率从多个尺度对所述左视点特征图和所述右视点特征图提取像素的上下文信息，得到所述左视点特征图的多个特征图维度和所述右视点特征图的多个特征图维度；

S3：将所述左视点特征图的多个特征图维度使用堆叠的方式进行保存，将所述右视点特征图的多个特征图维度使用堆叠的方式进行保存，取不同的视差值对所述特征图维度提取特征子图，构成匹配代价容器；

S4:基于3D卷积的方式，用 3D 卷积层对所述匹配代价容器进行卷积下采样和反卷积上采样后，基于双线性插值法进行上采样，对所述匹配代价容器中的所述特征子图进行尺寸恢复，得到视差图。

以上方法通过空间金字塔池化方法有效地提取到像素的上下文信息，再利用空洞卷积可以更有效地提取像素的上下文信息，从而在神经网络上用不同大小的扩张率抓取多尺度信息，在将得到的特征图进行保存时，区别于MC-CNN算法中使用计算特征向量的点积的方式用以组合左右输入图像的特征图，而是利用堆叠的方式，有效的保存了特征图的维度，从而在之后的处理中有效的提取到我们所需要的图像特征，避免丢失图像的特征信息。

在具体的实施例中，以上步骤还包括步骤S5：基于视差回归方法对所述视差图进行精细化。

在具体的实施例中，步骤S1中的特征提取使用了3个3×3的卷积核。相比于传统的方法中使用7×7大小的卷积核，两者的感受是一样大的，利用本发明的方案可以减少参数的数量，降低计算的复杂度。