[发明专利]点线面特征融合的回环检测方法、装置、设备和存储介质

说明书

本发明提出点线面特征融合的回环检测方法、装置、设备和存储介质，其中点线面特征融合的回环检测方法，包括：对大量图片进行训练，构建词袋模型，在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，获取第一参考帧和当前帧中数量最多的旋转角度作为图片的旋转角度φ_i；对第一参考帧和当前帧的进行旋转，获取线特征；获取的线特征进入角度过滤器进行过滤；采用深度图构建平面参数空间，对获取得到平面‑直线关联图；获取综合得分最高的第一参考帧作为成功回环的帧，本发明针对室内环境中，通过点线面等多种特征，提高了回环的稳定性以及鲁棒性。可克服UWB等室内定位系统不稳定的情况。

技术领域

本发明涉及图像识别技术领域，特别是点线面特征融合的回环检测方法、装置、设备和存储介质。

背景技术

在自动驾驶、无人驾驶、自主移动机器人等领域中，建图与定位技术是关键技术之一，而回环检测在建图与定位技术中重要的一步。比如视觉定位系统中ORB-SLAM中就运用了回环技术。在视觉定位系统中，回环检测时可有效的提升视觉建图和定位的效果，减少数据漂移和偏差，但若是回环出现了问题，将导致更大的误差。

现有的回环检测方案中主要时通过词袋模型进行回环检测，词袋模型中主要是针对点特征、线特征或者是点线特征。特别是在室内进行视觉定位时，由于室内小场景下图像采集位置受限，点特征、线特征或者是点线特征的获取受阻，从而影响检测的技术精度，最终影响定位和建图的效果。

发明内容

针对上述缺陷，本发明的目的在于提出点线面特征融合的回环检测方法、装置、设备和存储介质，能够对室内弱纹理等情况可有效的进行回环，为后续的后端优化提供更准确的信息，从而提高整个ORB-SLAM定位精度。

为达此目的，本发明采用以下技术方案：点线面特征融合的回环检测方法，包括以下步骤：

步骤S1：对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；

步骤S2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤S3；

步骤S3：对第一参考帧和当前帧进行点特征的提取ORB特征点，计算每个 FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φ_i；

步骤S4：对第一参考帧和当前帧进行旋转，其旋转角度为φ_i，获取LBD描述子；

对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；

获取的线特征进入角度过滤器进行过滤；

步骤S5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；

步骤S6：对面特征与线特征进行关联构建，获取得到平面-直线关联图；

步骤S7：对平面-直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧。

优选的，所述步骤S1中构建词袋模型的具体方法如下：

步骤S11：在大量图片样本中随机选取n个点；

步骤S12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；

步骤S13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；

步骤S14：重复步骤S12～13，获取所有特征的类以及该类的中心点；