[发明专利]一种用于立体匹配的特征提取方法

说明书

一种用于立体匹配的特征提取方法，将经过校正的、尺寸为W*H*C的原始图像输入到特征提取网络中；通过预处理模块和Resnet提取多个特征图；通过最大值池化操作，对提取到的多个特征图进行不同大小的最大值池化，构建特征金字塔；利用堆叠结构进行特征融合并压缩金字塔尺度范围，得到下一个金字塔，经过多次压缩，直至输出单一的尺度特征。对输出的单一的尺度特征，进行3*3的卷积；通过跳跃连接，将Resnet最后一层特征输出与特征输出在通道维度上进行拼接，然后通过3*3卷积与1*1卷积，构造特征体。本发明能够被用来提取足够的丰富特征，适用于深度立体匹配网络的特征输入。

技术领域

本发明涉及数字图像处理领域，具体涉及一种用于立体匹配的特征提取方法。

背景技术

立体匹配是根据双目视差原理获取三维空间深度信息的过程，立体匹配的方法可分为传统的立体匹配方法和基于深度学习的立体匹配方法，由于基于深度学习的方法具有更好的实时性和准确率。因此，目前对于立体匹配的主要注意力已经从对传统匹配方法的研究转移到深度立体匹配网络。目前的深度立体匹配网络研究将过多的注意力放在了匹配过程，而对特征提取部分产生了忽略，所沿用的均是先前工作所提出的，如Resnet，SPP，又或是通过简单的跳跃连接将多尺度特征、深层语义和浅层几何简单的连接起来。然而，深度学习的基础是从特征中学习输入与输出之间的内在关系，特征的丰富程度在一定程度上决定了网络模型整体的性能。

特征提取一直是立体匹配网络中重要的研究问题，传统的立体匹配方法由于手工设计的度量函数不能完整反映像素之间的相似性，使得匹配上存在缺陷。而卷积神经网络的出现很好的解决了这一问题，通过一个深度特征提取网络提取特征，基于这些特征对像素点之间进行相似性度量，弥补手工设计的度量函数其本身固有的缺陷问题，使得立体匹配的准确率大大提升。

发明内容

本发明提供一种用于立体匹配的特征提取方法，该方法提供了一种新的用于立体匹配的特征提取网络，具有自下而上的特征提取结构、多条自上而下的路线、以及一个横向传播的金字塔融合结构，这些结构能够被用来提取足够的丰富特征，适用于深度立体匹配网络的特征输入。

本发明采取的技术方案为：

一种用于立体匹配的特征提取方法，包括以下步骤：

步骤1：将经过畸变校正和极线校正的、尺寸为W*H*C的原始图像输入到特征提取网络中，其中W为图像的宽维度，H为图像的高维度，C为图像的通道维度。

步骤2：通过预处理模块和Resnet提取多个特征图。

步骤3：通过最大值池化操作，对步骤2中提取到的多个特征图进行不同大小的最大值池化，构建特征金字塔。

步骤4：利用堆叠结构进行特征融合并压缩金字塔尺度范围，得到下一个金字塔，经过多次压缩，直至输出单一的尺度特征。

步骤5：对步骤4中输出的单一的尺度特征，进行3*3的卷积。

步骤6：通过跳跃连接，将Resnet最后一层特征输出与步骤5的特征输出在通道维度上进行拼接，然后通过3*3卷积与1*1卷积，构造特征体。

所述步骤2中，预处理模块由3个级联的3×3卷积核构成，3×3卷积核相对于更小的卷积核而言，可以提取到更多的特征；相对于更大的卷积核而言，可以提取到更多的细节特征。此外，用多个3×3的卷积核可以在参数数量和特征提取效果之间做到最优选择。

所述步骤2中，Resnet含有4个残差块组，四个组所包含的残差块数量分别是{3,16,3,3}。

所述步骤4包括以下步骤：

S4.1：将来自高尺度的特征进行反卷积或上采样操作，提升分辨率；