[发明专利]一种基于深度学习的端到端视觉里程计及方法

说明书

本发明公开了一种基于深度学习的端到端视觉里程计及方法，包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。本发明采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联构成端到端的视觉里程计模块，再进一步深层次训练，优化参数。该层级化训练方法可以大幅降低训练时间，提高训练效率。

技术领域

本发明涉及一种基于深度学习的端到端视觉里程计及方法。

背景技术

视觉里程计是机器人利用视觉传感器估计自身运动的方法，是机器人定位、地图构建、避障以及路径规划等高层任务的基础技术。

传统的视觉里程计主要基于帧间视觉特征的空间几何关系，估计机器人帧间位姿，因此也称为帧间估计。特征分为稀疏特征和稠密特征两类，分别对应于图像局部信息表示和全局信息表示。传统的特征需要人工选取或计算，造成对图像信息表示具有一定人为性和局限性，同时依赖特征匹配的准确性，在应对图像的光照变化、运动模糊、纹理单一等情形具有较大的局限性，影响了其估计精度。

发明内容

本发明为了解决上述问题，提出了一种基于深度学习的端到端视觉里程计及方法，本发明利用端到端的帧间估计深度神经网络技术，实现了从原始图像到帧间估计的直接输出，相对于传统方法，该技术无需手动提取特征或光流图像、无需构建特征描述子、无需帧间特征匹配，更无需进行复杂的几何运算。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度学习的端到端视觉里程计，包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流图像输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。

所述光流网络和帧间估计网络均为层次化训练方式。

所述光流网络为卷积神经网络训练器。

所述光流网络以相邻帧连续图像作为输入，选取输出光流向量和基准数据之间的光流端点误差作为损失函数，进行将输入的连续帧图像生成光流图像的网络训练。

所述帧间估计网络以光流图像作为输入，将整个光流图像的训练划分为全局光流图训练和多个子光流图像的局部训练，最后组合两者输出的特征，输出到全连接层，完成基于光流的帧间估计网络。

所述帧间估计网络为利用KITTI数据集训练网络。

所述帧间估计网络为利用合成数据来训练网络。

一种基于深度学习的端到端视觉里程估计方法，根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，生成光流图像，根据光流图像，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。

采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联，进一步深层次训练，优化参数。

本发明的有益效果为：

(1)本发明相较于传统方法，无需人工选取或计算特征，免去了误差较大的特征匹配过程，更无需复杂的几何运算，具有直观简单的特点；

(2)本发明提出的层次化深度神经网络训练方法，可实现光流网络和帧间估计网络并行训练，提高了训练速度；

(3)本发明中光流网络的应用，提高了光流计算速度，使得算法实时性得到了提升；