[发明专利]一种基于超连接网络的匹配代价计算方法

说明书

本发明公开了一种基于超连接网络的匹配代价计算方法，通过在特征提取过程中增加大感受野子模块构成超连接网络实现针对待匹配图像的特征提取，实现了多类特征的融合，通过大感受野子模块处理后的特征不但可以提供更多的上下文信息，而且可以提供与跨尺寸特征聚合相匹配的特征信息，因此，本发明从技术原理上解决了基础模型的不能跨尺寸融合特征且上下文信息提供不充分的问题。

技术领域

本发明属于立体匹配技术领域，具体涉及一种基于超连接网络的匹配代价计算方法。

背景技术

立体匹配是计算机视觉的一个重要领域，被广泛应用于自动驾驶、机器人导航、三维模型重建及增强现实等领域。立体匹配，也称为视差估计，用于在一对经过矫正的立体图像中找到对应点。目前，基于监督的立体匹配方法相较于传统立体匹配方法，具有更高的视差预测精度，也是目前的研究热点。其中，比较典型的是基于卷积神经网络的立体匹配方法，其具有更好的预测效果。

在基于卷积神经网络的立体匹配方法中，代价体的质量对预测的准确性至关重要，代价体中包含的信息越丰富，立体匹配的效果就越好。所以，通过强化特征提取能力得到高质量的代价体，以及使用四维代价体代替三维代价体，都可以有效地学习上下文信息，从而改善代价体的质量。现有技术中，GC-Net引入了一种端到端的模型用于视差计算，该方法首先通过分别针对左右眼图像提取特征并构建四维代价体，然后利用三维编解码器正则化该代价体，并用soft argmin函数进行视差回归；PSM-Net引入了多尺寸特征用于匹配代价计算以获取上下文信息，它是通过在特征提取阶段使用空间金字塔池化模块以及在代价体正则化阶段利用叠加的三个沙漏形三维卷积神经网络的结构实现的；DenseNets和DLA通过在卷积神经网络模型中采用跳跃式连接，探索新的特征信息，在图像分类、语义分割、图像超分辨及音频分离等任务中表现很好。

但是，在PSM-Net的匹配代价计算过程中，针对左右眼图像进行特征提取的二维卷积神经网络结构中的每个阶段均包含数个残差网络，这些残差网络结构只能通过单层的残差学习单元对不同层的信息进行浅的聚合，不能充分的提取上下文信息，当待匹配的立体图像对包含复杂的信息时，该模型提取的特征不能充分的代表立体图像对的每个点，从而导致该模型在对包含复杂信息的立体图像对进行立体匹配时准确度不高；DenseNets(密集连接)仅能结合同尺寸的特征，对于不同尺寸的特征不能重复使用，并且接收的全局信息有限，使得特征提取能力受限；DLA(深层聚合)虽然能够结合跨尺寸的信息，但是这种信息融合需要首先对通过聚合后的特征做下采样，然后再和其他相同尺寸的特征融合，而且这些只涉及到同级特征的融合，这会使得该方法提供的全局特征有限，同时还会导致特征信息损失。

发明内容

有鉴于此，本发明提供了一种基于超连接网络的匹配代价计算方法，通过在特征提取过程中增加大感受野子模块构成超连接网络实现针对待匹配图像的特征提取，实现了多类特征的融合，能够获取更精确的匹配代价，优化了像素级预测任务中上下文信息学习和利用的问题。

本发明提供的一种基于超连接网络的匹配代价计算方法，通过构建包括主干网络和大感受野子模块的超连接网络实现对待匹配图像的特征提取，再采用提取出的特征构建代价体，最后对代价体进行正则化，从而得到所述待匹配图像的匹配代价。

进一步地，所述主干网络为二维卷积神经网络，由多个卷积阶段组成，根据每个阶段得到的特征图的尺寸进行分组，各组内每个卷积阶段得到的特征通过密集连接采用同组聚合的方式进行特征融合；所述大感受野子模块包括池化操作模块和主干网络中第一组中的所有卷积阶段，大感受野子模块中各卷积阶段间采用与第一组相同的方式进行特征融合，大感受野子模块中各卷积阶段得到的特征通过密集连接采用跨组聚合的方式与所述主干网络第二组中各卷积阶段得到的特征进行特征融合。