[发明专利]基于多视点图像特征的自适应匹配代价构建方法和系统

说明书

本发明公开了一种基于多视点图像特征的自适应匹配代价构建方法和系统，属于多视点图像的立体匹配及三维重建领域。方法包括：将多视点图像特征进行逐对匹配，并将两匹配视图在特征维度上进行拼接得到两匹配视图的图像特征组合；从图像特征组合中获取视图间的相似性特征；将每一对匹配视图间的相似性特征组合为一个相似性特征序列，通过soft‑max操作计算得到不同的两匹配视图所对应的归一化权重；将多个匹配视图初始代价体利用其对应的归一化权重进行归一化加权求和，生成多视图匹配代价。本发明综合考虑了不同视图间的差异性，构建的匹配代价鲁棒性得到增强，特别是在匹配较困难的弱纹理区域，基于此预测的深度及场景重建质量会有明显的提升。

技术领域

本发明属于多视点图像的立体匹配及三维重建领域，更具体地，涉及一种基于多视点图像特征的自适应匹配代价构建方法和系统。

背景技术

多视图立体匹配技术用于基于图像的场景三维重建。具体而言，通过同一个场景的多视点图像序列恢复出相应的场景三维结构。在相机的成像过程中，真实世界的三维点经过相机成像将会被映射为图像中的二维点，其中深度信息将会丢失。因此，从二维图像恢复出三维结构需要求解图像对应的深度信息。多视图深度信息求解的关键是场景中的同一个三维点在多个成像视图中的匹配关系。如果可以得到正确的匹配关系，那么通过成像位置的差异及相机参数等信息就可以求解出正确的深度。

目前基于深度学习的多视图立体匹配算法，例如MVSNet算法已经取得了良好的重建效果并且在速度上具有明显的优势。而基于深度学习的关键在于构建多视图匹配代价，然后通过三维卷积神经网络对匹配代价进行正则化从而预测得到正确的深度。目前的方法通过单应性变换在每两个视图间构建代价体，然后通过方差聚合(Variance Metric)的方法聚合多个两视图间的代价体从而构建得到匹配代价(Cost Volume)。这种方法是较为简便及灵活的，适用于任意数量的视图作为输入。它的出发点是认为所有视图间的匹配代价是均等的，因此通过方差计算消除不同视图间匹配代价的差异性。然而由于不同视图对应的相机位置及成像角度等差异，导致同一个三维点在不同视图间的成像是有差异性的。忽视这种视图间差异性所构建的匹配代价的鲁棒性是不足的，因此后续基于此匹配代价推断的深度图也是不够准确得，特别是在弱纹理(即大面积重复纹理)区域推断的深度将出现大面积的错误，影响最终重建的场景三维结构的质量。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多视点图像特征的自适应匹配代价构建方法和系统，其目的在于解决由于忽视视图间差异性使得所构建的匹配代价鲁棒性不足，造成预测的深度不准确，影响最终重建的场景三维结构质量的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于多视点图像特征的自适应匹配代价构建方法，包括：

S1.将多视点图像特征进行逐对匹配，并将两匹配视图在特征维度上进行拼接得到两匹配视图的图像特征组合；

S2.从图像特征组合中获取视图间的相似性特征；

S3.将每一对匹配视图间的相似性特征组合为一个相似性特征序列，通过soft-max操作计算得到不同的两匹配视图所对应的归一化权重；

S4.将多个匹配视图初始代价体利用其对应的归一化权重进行归一化加权求和，生成多视图匹配代价。

进一步地，利用卷积神经网络从图像特征组合中获取视图间的相似性特征或计算两视图间的SSIM结构相似度。

进一步地，所述卷积神经网络为对称的U型结构，包括七个卷积层，每个卷积层之后连接批归一化层；第一卷积层及第二卷积层对特征进行下采样到1/4及1/16，在第四卷积层和第五卷积层对特征进行上采样到1/4及原尺寸，并对下采样的特征进行跳跃连接操作进行跨层次的特征融合。

进一步地，多视图匹配代价为：