[发明专利]一种基于点线综合特征的视觉同时建图与定位方法

说明书

本发明公开了一种基于点线综合特征的视觉同时建图与定位方法，该方法综合运用从双目相机图像中提取得到的线特征和点特征，可以用于在室内室外环境的机器人定位与姿态估计，由于综合使用点线特征使得系统更加鲁棒，更加精确。对于直线特征的参数化，我们用普吕克坐标用于直线的计算，包括几何变换，三维重建等，在后端的优化中我们用直线的正交表示来最小化直线的参数个数。离线建立综合点线特征的视觉字典，用于闭环检测，并通过增加标志位的方法使得点线特征在视觉字典里和建立图像数据库、计算图片相似性时区别对待。本方法可用于室内室外的场景地图的构建，构建出的地图综合了特征点和特征直线，能够提供更加丰富的信息。

技术领域

本发明涉及视觉同时建图与定位技术领域，特别是一种基于特征的双目视觉SLAM(同时定位与建图)技术领域。

背景技术

针对视觉同时建模与定位技术，基于关键帧的优化和图优化成为视觉SLAM问题的主流框架。图优化技术已经被证实在计算所消耗的资源和结果的一致性方面比传统的滤波框架具有更好的性能。点特征是在视觉同时建图与定位技术中最被广泛使用的特征，在室内和室外环境中都特别丰富，在连续的图像序列中容易被跟踪，而且在几何变换中方便计算。然而，点特征对于环境依赖较大，高质量的点特征需要鲁棒性高但耗时的特征检测与描述。在图像中线特征比点特征的表示层次高，在结构化环境中提供了更鲁棒的信息，利用较少的线特征结合点特征建立环境地图与定位可以更加高效以及精确。

发明内容

本发明所要解决的技术问题是提供一种基于点线综合特征的视觉SLAM方法，可以用于在室内室外环境的机器人定位与姿态估计，由于综合使用点线特征使得系统更加鲁棒，更加精确。本方法可用于室内室外的场景地图的构建，构建出的地图综合了特征点和特征直线，能够提供更加丰富的场景信息。为此，本发明提供以下技术方案：

一种基于点线综合特征的视觉同时建图与定位方法，其特征在于，包括离线建立视觉词典和在线建立稀疏视觉特征地图两个部分：

首先，利用聚类方法离线建立树状的视觉词典，即描述子空间的KD树，并确定树状视觉词典中每个节点的逆文本频率，所述每个节点即为描述子的聚类中心：

将每帧图像包含的特征转化为视觉词汇，即特征描述子；对所述视觉词汇进行分层聚类，建立描述子空间的KD树，该KD树称为视觉词典；使用特征描述子离线建立树状的视觉词典，将特征描述子的训练图像集中提取出来；所述描述子是ORB(Oriented FAST andRotated BRIEF(BRIEF为Binary Robust Independent Elementary Features二进制鲁棒独立基本特征描述子)，定向快速角点检测和二进制鲁棒独立基本特征描述子点特征描述子和LBD直线特征描述子；所述ORB点特征描述子和LBD(Line Band Descriptor线带描述子)直线特征描述子均为二进制描述子，把两种二进制描述子分别进行拓展：为ORB点特征添加标志位0，为LBD线特征添加标志位1，所述标志位0和标志位1可区分直线特征与点特征；获取LBD直线特征描述子之前首先要用LSD(Line Segment Detector线段检测子)检测直线，再用LBD描述子对该直线进行描述；

视觉词典中每个节点的权重由该节点包含的所有特征描述子的逆文本频率(即IDF，主要思想是：如果包含视觉词汇t的图片越少，则逆文本频率越大，则说明词汇t具有很好的类别区分能力)确定；

然后，在线建立稀疏的视觉特征地图，步骤如下：

步骤一，从双目相机中获取校正后的图像，并对校正后的图像的特征提取及描述：

提取校正后的图像中的点线特征及其描述子，在线提取ORB点特征描述子和LBD线特征描述子；

步骤二，双目相机中校正后的图像进行特征匹配及三维重建：