[发明专利]一种基于深度学习的端到端视觉里程计及方法

权利要求书

1.一种基于深度学习的端到端视觉里程计，其特征是：包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，以相邻帧连续图像作为输入，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流图像输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计；

光流网络和帧间估计网络级联后，进一步深层次训练，优化参数。

2.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述光流网络和帧间估计网络均为层次化训练方式。

3.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述光流网络为卷积神经网络训练器。

4.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：

所述帧间估计网络以光流图像作为输入，将整个光流图像的训练划分为全局光流图训练和多个子光流图像的局部训练，最后组合两者输出的特征，输出到全连接层，完成基于光流的帧间估计网络。

5.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述帧间估计网络为利用KITTI数据集训练网络。

6.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述帧间估计网络为利用合成数据来训练网络。

7.一种基于深度学习的端到端视觉里程估计方法，其特征是：根据数据集中图像序列中的相邻帧，以相邻帧连续图像作为输入，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，生成光流图像，根据光流图像，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计；

采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联，进一步深层次训练，优化参数。