[发明专利]一种单目视觉里程计方法和系统

说明书

本发明涉及一种单目视觉里程计方法和系统。该方法采用光流预测网络获取光流图像，并在挑选得到第一特征点对后，将图像序列数据输入至深度预测网络得到深度信息图，再将图像序列数据输入至深度预测网络生成刚性光流；接着，生成第二特征点对后，结合刚性光流作为约束条件训练光流预测网络；然后，采用训练好的光流预测网络获取图像序列数据中相邻两帧图像间的光流，并在挑选得到第三特征点对后，从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿，以通过融合传统几何和深度学习的方式使得精度更高、鲁棒性更强。

技术领域

本发明涉及单目视觉定位技术领域，特别是涉及一种单目视觉里程计方法和系统。

背景技术

自动驾驶是物联网、人工智能、大数据等新一代信息技术以及城市轨道交通、控制科学与工程等各个领域进行深度融合而生成的产物。目前汽车实现自动驾驶功能需要实时地获取当前每一时刻的位姿，并通过反馈的位姿进行决策分析。目前位姿的获取主要来源于GPS定位技术，GPS自问世以来，就以其高灵活性、高精度吸引了大批的使用者，但是GPS也有很多弊端，尤其在一些特殊场景中，比如雨雪冰雹等极端天气、郊区信号时有时无等情形下，GPS反馈的实时位姿就会产生很大的误差，对后续的一系列决策产生错误指引。

视觉里程计的目标是通过拍摄的一系列图像去估计相机的运动，主要通过采集的照片，结合之前推测出的位姿，生成当前的实时位姿。单目视觉里程计主要依赖于单目摄像机，与双目视觉里程计相比而言，硬件要求更低，处理速度更快。另外，在自动驾驶领域中常常会出现信号中断或雨雪等特殊天气情况，在这种情况下视觉里程计的作用就能很好的体现出来，相比GPS而言，在此情形下视觉里程计的精度更高、鲁棒性更强。

目前，现有视觉里程计(Visual Odometry，VO)技术主要分为两种方式，一种是采用传统视觉里程计的方式，该类方式主要基于多视图几何的方法，目前ORB-SLAM2是比较经典的传统视觉里程计方法，它主要基于ORB特征点，对特征点提取和匹配的要求比较高，在理想情况下精度比较准确，但是在弱纹理区域鲁棒性很差。另一种是采用深度学习视觉里程计的方式，基于深度学习的VO主要通过端到端的方式，一端输入连续的一系列图像，另一端输出位姿R和位姿T。目前SFM-Learner是比较经典的深度学习视觉里程计的方法，但是基于深度学习方式的视觉里程计也有很大弊端，特别是对一些没有见过的场景鲁棒性较差。

发明内容

为解决现有技术存在的上述问题，本发明提供了一种单目视觉里程计方法和系统。

为实现上述目的，本发明提供了如下方案：

一种单目视觉里程计方法，包括：

获取图像序列数据；

采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对；

将所述图像序列数据输入至第一深度预测网络得到深度信息图；所述第一深度预测网络包括：深度预测子网络和位姿估计网络；所述深度预测子网络采用U-Net编码器-解码器结构；所述位姿估计网络采用ResNet18网络结构；

将获取的图像序列数据输入至第二深度预测网络生成3D场景流，并将所述3D场景流进行平面投影得到2D光流，将所述2D光流命名为刚性光流；所述第二深度预测网络包括：新深度预测网络和位姿估计网络；所述新深度预测网络为优化后的深度预测子网络；

采用特征点法提取所述图像序列数据中特征点，并采用快速最近邻匹配算法基于所述特征点生成第二特征点对；

获取第二特征点对中像素点的匹配点和第一特征点对中像素点的匹配点，并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中像素点的匹配点间的欧式距离，将所述欧式距离作为第一约束条件；