[发明专利]基于深度特征的相机姿态估计优化方法

说明书

基于深度特征的相机姿态估计优化方法，涉及基于有监督学习SLAM系统的优化方法。使用基于随机森林的匹配算法，快速计算2D‑3D点的相似性以映射2D‑3D点信息；使用约束函数和多特征融合的方法评估相机姿态；针对基于深度学习的SLAM算法中存在的不稳定性问题，提出一种多特征集束优化算法。使用三维重建数据作为参考，然后使用可见的3D点及来自随机森林的离线数据集的相关关键点映射，并使用多特征融合和约束函数来测量姿态评估分数。以上方法用于优化基于深度学习SLAM的性能。实验结果证明，算法鲁棒性。

技术领域

本发明涉及基于有监督学习SLAM系统的优化方法，尤其是涉及用于有监督学习SLAM算法的基于深度特征的相机姿态估计优化方法。

背景技术

SLAM技术在机器人、自动驾驶、虚拟与增强现实领域有着很好的应用前景，在众多的计算机视觉与人工智能技术中，SLAM的研究持续火热。近几年，越来越多的机器人出现在人们的视野当中，给人们生活带来很多便利，通过自身的摄像头、陀螺仪、激光传感器等来得到具体场景的环境，并对自身进行定位，在满足实时性的条件下完成特定任务。近年来，国内外多家公司投入大量人力、物力来进行无人驾驶车辆的研发。无人驾驶的核心技术也是SLAM技术，鲁棒而快速的环境识别和语义分割是该无人驾驶的关键所在。在增强现实领域，目前在市面上投入到商业场景中的AR应用大多是基于特定模板，从模板识别到模板跟踪匹配，结合三维注册和模型渲染来进行虚实交互。而真正的增强现实需要对应用场景所处的环境进行识别与语义理解，这时候仍需SLAM技术来作为核心技术。

相机重新定位一直是SLAM中的一项重要任务。基于图像的重新定位方法在SLAM中是一个强大而有效的线程，基于成像的相机姿态估计的常用技术是图像检索和基于3D场景重建的方法，但是，图像检索错误大于GPS位置传感器。此外，估计精度也取决于数据集，ARZamir等人([1]Zamir,A.R.,Shah,M.:Image geo-localization based on multiplenearest neighbor feature matching using generalized graphs.IEEE Trans.PatternAnal.Mach.Intell.(2014))提出多个最近邻的地理定位特征匹配框架，但如果查询图像(Query)和数据集(Database)不匹配那么此方法受到严重限制。这种方法为了实现更好的定位结果，需要三维先验信息提供有价值的空间关系。但是，现有的基于三维先验的图像定位方法只关注局部的定位精度，而忽视后续的优化。对于局部优化，如FastSLAM([2]Parsons,S.:Probabilistic robotics by Sebastian Thrun,Wolfram Burgard andDieter Fox.Knowledge Eng.Review(2006).https://doi.org/10.1017/S0269888906210993)，通过传感器估计噪声来测量估计姿态误差，并对其优化。ORB-SLAM([3]Mur-Artal,R.,Montiel,J.M.M.,Tard′os,J.D.:ORB-SLAM:a versatile andaccurate monocular SLAM System.IEEE Trans.Robot.(2015))是一种优秀视觉SLAM系统，使用orb特征和局部及全局优化，但是它没有使用深度特征和先验知识。([4]Kendall,A.,Cipolla,R.:Modelling uncertainty in deep learning for camerarelocalization.In:IEEE International Conference on Robotics and Automation,ICRA 2016,Stockholm,Sweden,16–21May 2016.https://doi.org/10.1109/ICRA.2016.7487679)提出了一个使用贝叶斯的视觉重定位系统，并用卷积神经网络来回归相机姿态，重用了三维信息并接近实时性能。我们提出的方法不利用任何传感器，而是基于先验三维点的相似度定位模型，但是，目前基于有监督学习的方法都没有相当适用的优化方法。虽然一些基于深卷积神经网络的视觉定位算法被认为是容忍大基线的端到端定位方法，但是，估计姿态时往往出现平均误差较大的情况。这一切归结为没有后端优化(例如局部集束优化)，基于上述问题，展示了如何使用随机森林(Cutler,A.,Cutler,D.R.,Stevens,J.R.:Random forests.In:Machine Learning(2012))做2D-3D的点匹配，以及如何改进及利用约束函数优化基于深度学习的SLAM系统。