[发明专利]一种基于深度学习的自然景观多视图三维重建方法

权利要求书

1.一种基于深度学习的自然景观多视图三维重建方法，其特征在于，包括以下步骤：

步骤Step1:获取自然景观的多视图图像集，并对所述多视图图像集中的二维图像进行预处理；

步骤Step2:构建多尺度特征提取网络，通过训练集对所述多尺度特征提取网络进行训练，得到训练好的多尺度特征提取网络，并利用训练好的多尺度特征提取网络对预处理后的二维图像进行特征提取，得到目标关键特征；

步骤Step3:将得到的目标关键特征输入基于学习的补丁匹配迭代模型中进行像素深度匹配的迭代计算，模型迭代计算结束之后输出对应的深度图；

步骤Step4:将步骤Step3得到的深度图和源图像输入深度残差网络中进行优化，得到优化后的最终深度图，并根据所述优化后的最终深度图，构建物体三维模型，以得到自然景观的立体视觉图。

2.如权利要求1所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，所述预处理包括：

对所述多视图图像集中的二维图像进行关键重建区域分割，所述多视图图像集包括源图像及其对应的多个视角的参考图像；

结合自然景观环境影响因素进行特征增强或遮挡修复。

3.如权利要求2所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，构建的多尺度特征提取网络为基于图像金字塔FPN结构的可变卷积网络，通过对原有卷积得到的特征图再施加一个卷积层，用以获取可变形卷积变形的偏移量来实现目标关键特征提取。

4.如权利要求3所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，在迭代计算过程中，在初次迭代时，则当前单个目标关键特征作为初始迭代的输入；若迭代已开始，则当前单个目标关键特征会与上一次迭代得到的深度图连接起来作为当前迭代的输入。

5.如权利要求4所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，所述基于学习的补丁匹配迭代模型中的像素深度匹配是通过预设的匹配代价计算方法来实现的。

6.如权利要求5所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，所述匹配代价计算方法通过group-wise相关性计算每个像素的每个depth假设值的代价；

具体包括：根据公式：计算每个group的相似性，其中，wi(p)表示像素P对参考图像Ii的权重，w_i(p)＝max{P_i(p，j)|j＝0，1，...，D-1，表示对应group的相似向量，F₀(p)^g和F_i(p_i，j)^g分别表示第g组源图像的特征和第g组参考图像的特征，N表示源图像和参考图像累加的总数,P_i,j表示参考图像中对应源图像的像素P。

7.如权利要求6所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，所述步骤Step4具体包括：

首先将输入的深度归一化到[0，1]，并在细化后再恢复；

将得到的深度图和源图像输入深度残差网络中提取特征，并对得到深度特征应用反卷积，上采样到图像特征大小；

将得到的两个特征连接并应用了多个二维卷积层，得到深度残差；

然后添加到步骤Step3得到的深度估计中，最后得到优化后的深度图；

并根据所述优化后的最终深度图，构建物体三维模型，以得到自然景观的立体视觉图。

8.一种基于深度学习的自然景观多视图三维重建系统，采用基于上述权利要求1-7所述的基于深度学习的自然景观多视图三维重建方法，其特征在于，包括：图像获取模块、多尺度特征提取模块、迭代计算模块和优化重建模块；

所述图像获取模块用于获取自然景观的多视图图像集，并对所述多视图图像集中的二维图像进行预处理；

所述多尺度特征提取模块用于构建多尺度特征提取网络，通过训练集对所述多尺度特征提取网络进行训练，得到训练好的多尺度特征提取网络，并利用训练好的多尺度特征提取网络对预处理后的二维图像进行特征提取，得到目标关键特征；

所述多尺度特征提取模块用于将得到的目标关键特征输入基于学习的补丁匹配迭代模型中进行像素深度匹配的迭代计算，模型迭代计算结束之后输出对应的深度图；

所述优化重建模块用于将上述得到的深度图和源图像输入深度残差网络中进行优化，得到优化后的最终深度图，并根据所述优化后的最终深度图，构建物体三维模型，以得到自然景观的立体视觉图。