[发明专利]多视图三维重建方法及装置

说明书

本申请公开了一种多视图三维重建方法及装置，包括：使用多层普通卷积处理多张输入图像，获得每张输入图像的多张不同尺度的第一特征图；使用多个不共享参数的可变形卷积处理多张不同尺度的第一特征图，并双线性插值后获得每张输入图像的多张不同尺度的第二特征图；对每张输入图像的多张第二特征图进行拼接，获得每张输入图像的输出特征图；构建代价体；正则化代价体获得概率体；根据参考图像的初始深度图；优化初始深度图，获得深度优化图；生成稠密点云。本申请提供的技术方案克服了提取弱纹理表面特征存在困难的技术问题，使弱纹理区域也具有较好的重建效果，并且在保证深度图精准生成的同时降低了GPU运行损耗。

技术领域

本申请涉及遥感测绘地理信息技术领域，尤其涉及一种多视图三维重建方法及装置。

背景技术

三维重建是指根据单视图或者多视图的图像，通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型，广泛应用于虚拟现实、自主驾驶、游戏开发、建筑设计、临床医学等领域。

传统的多视角立体匹配重建方法使用手工设计的相似性度量指标和光度一致性来估计深度图并生成稠密3D点云。虽然这些方法在理想的朗伯情形下显示出了很好的重建效果，但它们也有一些共同的局限性。例如，弱纹理、高光和镜面反射区域等问题的存在使密集匹配变得难以处理，从而导致重建结果不完整。为了克服这一限制，近年来人们引入深度学习来改进立体重建方法。基于深度学习的方法在许多MVS(Multi-view Stereo，立体视觉)指标上比传统方法有更高水平的准确性和完整性。

但是目前基于深度学习的三维重建方法仍然存在一些问题。目前，二维卷积神经网络在规则像素网格上提取弱纹理表面特征存在困难，这影响了三维重建的完整性。

发明内容

本申请实施例通过提供一种多视图三维重建方法及装置，解决了现有三维重建方法的提取低弱纹理表面特征存在困难，影响三维重建完整性的技术问题。

第一方面，本申请实施例提供了一种多视图三维重建方法，所述方法包括：

使用多层普通卷积处理多张输入图像，获得每张所述输入图像的多张不同尺度的第一特征图；多张所述输入图像中包括一张参考图像，其余为源图像；

使用多个不共享参数的可变形卷积处理多张不同尺度的所述第一特征图，并双线性插值后获得每张所述输入图像的多张不同尺度的第二特征图；其中，所述可变形卷积定义如下：

f(p)表示像素p的特征值，w_k和p_k分别表示在所述普通卷积中定义的卷积核参数和固定偏移量，Δp_k和Δm_k分别表示所述可变形卷积经过学习产生的偏移量和权重；

对每张所述输入图像的多张所述第二特征图进行拼接，获得每张所述输入图像的输出特征图；

根据每张所述输入图像的所述输出特征图和相机参数构建代价体；

正则化所述代价体获得概率体；

根据所述概率体确定所述参考图像的初始深度图；

优化所述初始深度图，获得深度优化图；

融合多张所述深度优化图生成稠密点云。

结合第一方面，在一种可能的实现方式中，所述正则化所述代价体得到概率体包括：

使用分层式递归卷积网络模块对所述代价体正则化，获得正则化后的多张代价图；所述分层式递归卷积网络模块包括多个依次排列的LSTMConvcell，以及设置于两个所述LSTMConvcell之间的池化层和反卷积层；

根据多张所述代价图生成相应的所述概率体。