[发明专利]一种单目视觉里程计方法和系统

权利要求书

1.一种单目视觉里程计方法，其特征在于，包括：

获取图像序列数据；

采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对；

将所述图像序列数据输入至第一深度预测网络得到深度信息图；所述第一深度预测网络包括：深度预测子网络和位姿估计网络；所述深度预测子网络采用U-Net编码器-解码器结构；所述位姿估计网络采用ResNet18网络结构；

将获取的图像序列数据输入至第二深度预测网络生成3D场景流，并将所述3D场景流进行平面投影得到2D光流，将所述2D光流命名为刚性光流；所述第二深度预测网络包括：新深度预测网络和位姿估计网络；所述新深度预测网络为优化后的深度预测子网络；

采用特征点法提取所述图像序列数据中特征点，并采用快速最近邻匹配算法基于所述特征点生成第二特征点对；

获取第二特征点对中像素点的匹配点和第一特征点对中像素点的匹配点，并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中像素点的匹配点间的欧式距离，将所述欧式距离作为第一约束条件；

确定所述刚性光流和所述光流A间的误差，并将所述误差作为第二约束条件；其中，将光流网络生成的光流定义为光流A；

基于所述第一约束条件和所述第二约束条件生成总约束条件；

基于所述总约束条件训练所述光流预测网络，得到训练好的光流预测网络；

采用所述训练好的光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第三特征点对；

从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿。

2.根据权利要求1所述的单目视觉里程计方法，其特征在于，所述采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对，具体包括：

采用特征金字塔网络提取所述图像序列数据的特征；

将提取得到的特征输入至光流估计器得到光流图像，并根据前后光流一致性挑选得到第一特征点对。

3.根据权利要求2所述的单目视觉里程计方法，其特征在于，所述特征金字塔网络的层数为8，每一层均包含一个卷积层。

4.一种单目视觉里程计系统，其特征在于，包括：

单目相机，用于获取图像序列数据；

第一特征点对生成模块，用于采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对；

Q模块，用于将所述图像序列数据输入至深度预测网络得到深度信息图；所述深度预测网络包括：深度预测子网络和位姿估计网络；所述深度预测子网络采用U-Net编码器-解码器结构；所述位姿估计网络采用ResNet18网络结构；

W模块，用于将获取的图像序列数据输入至深度预测网络生成3D场景流，并将所述3D场景流进行平面投影得到2D光流，将所述2D光流命名为刚性光流；

第二特征点对生成模块，用于采用特征点法提取所述图像序列数据中特征点，并采用快速最近邻匹配算法基于所述特征点生成第二特征点对；

第一约束条件确定模块，用于获取第二特征点对中像素点的匹配点和第一特征点对中像素点的匹配点，并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中像素点的匹配点间的欧式距离，将所述欧式距离作为第一约束条件；

第二约束条件确定模块，用于确定所述刚性光流和所述光流间的误差，并将所述误差作为第二约束条件；

总约束条件确定模块，用于基于所述第一约束条件和所述第二约束条件生成总约束条件；

训练模块，用于基于所述总约束条件训练所述光流预测网络，得到训练好的光流预测网络；

第三特征点对生成模块，用于采用所述训练好的光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第三特征点对；

相机位姿确定模块，用于从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿。