[发明专利]一种基于深度学习的无人机航拍影像的三维重建方法

说明书

一种基于深度学习的无人机航拍影像的三维重建方法。属于计算机视觉技术领域。提出了一种在现有的三维重建方法下，根据多视图几何理论，提供了一种基于深度学习的无人机航拍影像的三维重建方法。按以下步骤进行重建：S1、改进MVSNet网络模型；S2、利用BlendedMVS数据集，对改进后的网络模型进行训练；S3、利用无人机上多个相机进行数据采集；S4、对步骤S3获取到的图片数据进行格式处理；S5、采用深度图融合算法技术，把深度图转变为3D点云图保存。本发明采用结合深度学习思想的MVS(Multi‑View Stereo)算法，而MVS作为对重叠图像进行稠密表示的一种估计方法，具有重建精度高的优点。同时，利用深度学习有效改善了重建快速性和完整性。

技术领域

本发明涉及一种基于深度学习的无人机航拍影像的三维重建方法，属于计算机视觉技术领域。

背景技术

无人机(Unmanned Aerial Vehicle，UAV)因其灵活性高、成本低、抗干扰能力强、受地面地形约束小等特点，广泛应用于军事领域及民用领域。此外，无人机能够巡航于云层以下，因此可以快速获取高空间分辨率的航拍影像，为基于影像的三维重建提供了有效途径。

现有的基于无人机航拍影像的三维重建技术可以划分为两类方法：

一种是传统航测方法。该类方法广泛应用于大范围航迹规则的摄影测量。然而，传统航测方法生产工艺复杂、生产效率低下、工作强度较高，需要内外业人员具备专业素质，这一系列的弊端使得传统的方式并不能满足某些情况下的时效性需求。此外，传统航测方法中无人机仅作为数据获取的工具，无法实时传输处理图像数据，在现场无法确定原始成果的质量情况，使得三维重建周期长、成本高、过程繁琐。

另一种是基于多视图几何的三维重建方法。该类方法根据匹配特征点之间的几何约束关系求解基础矩阵，进一步得到相机的运动参数，从而重建出场景的三维结构，广泛应于复杂地形区域下不规则航迹采集的影像处理。这其中，SfM(Structure-from-Motion)和SLAM(Simultaneous Localization and Mapping)作为视觉重建的核心算法技术，取得了很大的进展。SfM主要用于离线计算无序图像序列的相机参数模型，而SLAM则用于实时计算视频流中相机的位置参数。由于SLAM计算量大、精度不高、耗时长且硬件设备要求高，使其难以快速实现稠密地图重建。采用上述方法在进行三维重建时，如何保证重建完整性的情况下实现高效率的无人机快速三维重建是研究的重点和难点。

发明内容

本发明针对以上问题，提出了一种在现有的三维重建方法下，根据多视图几何理论，提供了一种基于深度学习的无人机航拍影像的三维重建方法。该方法将无人机上搭载的多个相机采集到的建筑物视频序列作为输入，基于现有MVSNet网络设计适用于无人机的神经网络模型，并利用已有的大型户外建筑物数据集训练该网络模型得到最优模型参数，进一步对视频序列图像进行格式处理并实时输入最优网络模型中，最终得到建筑物的3D点云重建图。

本发明的技术方案为：按以下步骤进行重建：

S1、改进MVSNet网络模型，使其与无人机载体适配；

S2、利用BlendedMVS数据集，对改进后的网络模型进行训练，经过若干次迭代更新网络权重参数，选取最优网络模型参数；

S3、利用无人机上多个相机进行数据采集，从而获取到的含有位置信息的航拍图片数据；

S4、对步骤S3获取到的图片数据进行格式处理，并在此后输入端到端的神经网络模型得到的相关深度图中；

S5、采用深度图融合算法技术，把深度图转变为3D点云图保存。

步骤S1中按以下步骤改进MVSNet网络模型：