[发明专利]一种基于视觉SLAM与深度学习的无人机实时稠密建图方法

权利要求书

1.一种基于视觉SLAM与深度学习的无人机实时稠密建图方法，其特征在于，包括以下步骤：

S1、标定相机参数，校正相机畸变；

S2、获取图像帧和GPS信息；

S3、对获取的所述图像帧用视觉里程计跟踪；

S4、对跟踪结果进行滑窗优化；

S5、对滑窗优化结果通过SCCVA-MVSNet网络进行深度补全；

S6、利用GPS信息对滑窗优化后的轨迹进行优化；

S7、利用优化后的轨迹和SCCVA-MVSNet得到的深度图进行融合得到地图。

2.根据权利要求1所述的基于视觉SLAM与深度学习的无人机实时稠密建图方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、将相机坐标系的三维空间点P(X,Y,Z)，投影到归一化图像平面形成该点的归一化坐标为[x,y]^T；

S12、对归一化平面上的点[x,y]^T进行径向畸变和切向畸变校正，通过以下公式实现：

其中[x_distorted，y_distorted]^T是校正后的点坐标，p1，p2为相机的切向畸变系数，k1，k2，k3为相机的径向畸变系数，r为点P离坐标系原点的距离；

S13、将校正后的点[x_distorted，y_distorted]^T通过内参数矩阵，投影到像素平面得到其在图像上的正确位置[u,v]^T，通过一下公式实现：

u＝f_xx_distorted+c_x

v＝f_yy_distorted+c_y

其中，fx，fy，cx，cy为相机的内参数。

3.根据权利要求1所述的基于视觉SLAM与深度学习的无人机实时稠密建图方法，其特征在于，所述图像帧和GPS信息从无人机存储功能模块中获取。

4.根据权利要求1所述的基于视觉SLAM与深度学习的无人机实时稠密建图方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、对获取的图像帧构建图像金字塔，对每层计算梯度，并在每一层使用动态网格策略选取一定数量的点；

S32、通过相机运动生成先验位置，即基于对上一次的运动量加上微调，生成当前帧运动的估计；

S33、根据估计计算对应残差，并基于残差和梯度计算关于6维李代数的雅可比矩阵，进而迭代优化估计的位姿；

S34、根据位置关系判断当前帧是否是关键帧，如果是则加入到滑动窗口进行优化。

5.根据权利要求4所述的基于视觉SLAM与深度学习的无人机实时稠密建图方法，其特征在于，所述步骤S4具体包括以下步骤：

S41、根据当前即将加入进滑动窗口的关键帧与老关键帧的共视程度和滑动窗口内关键帧的位置分布判断哪些帧需要边缘化并标记；

S42、把最新关键帧加进滑动窗口并构建残差项，进行迭代优化，优化滑动窗口内所有的关键帧和激活点；

S43、将被标记的帧和帧所带的激活点同时进行边缘化；

S44、在最新关键帧中选择一定的关键点作为预选。

6.根据权利要求5所述的基于视觉SLAM与深度学习的无人机实时稠密建图方法，其特征在于，所述SCCVA-MVSNet网络由两部分组成，第一部分深度补全网络，第二部分是CVA-MVSNet网络。

7.根据权利要求6所述的基于视觉SLAM与深度学习的无人机实时稠密建图方法，其特征在于，所述第一部分深度补全网络的输入为所有关键帧的有效深度的特征点在所有帧之间相互投影形成的稀疏深度图以及每个特征点的光度误差。