[发明专利]基于深度学习和注意力机制的单目视觉里程计的计算方法

说明书

本发明公开了一种基于深度学习和注意力机制的单目视觉里程计算方法，具体步骤包括：先采集原始单目彩色图像，并将图像尺寸裁剪为统一大小；将裁剪过后的第i张图像和第i+1张图片输入PWCnet光流计算模块，获取光流向量场，并将光流向量场按照4个象限等分为4个光流子向量场；将4个光流子向量场输入卷积神经网络，分别获取4个子特征向量；将4个子特征向量合并为一个总特征向量，然后将总特征向量输入全连接网络，获取估计位姿向量；实时采集图片，并依次送入卷积神经网络，得到若干连续的估计位姿向量，通过若干连续的估计位姿向量获取估计里程。本发明拥有很好的视觉里程计算精度和计算速度。

技术领域

本发明属于移动机器人自主定位领域，具体涉及基于深度学习和注意力机制的单目视觉里程计的计算方法。

背景技术

视觉里程计技术是视觉同时定位与地图构建中的前端技术。通过视觉里程计得到帧间位姿估计可以获取局部地图，该局部地图经过后端优化后可以得到里程计所经过的路径的全局地图。从而可以进一步进行地图构建和三维重建等任务。

视觉里程计技术被广泛应用于移动机器人自主定位、自动驾驶、虚拟现实技术中，是近年来的热门研究领域。视觉里程计技术的主要研究任务是利用视觉特征向量来进行准确的帧间位姿估计。传统的视觉里程计技术分为直接法和特征向量点法。特征向量点法通过匹配相邻帧间的特征向量来估计相机位姿，其性能直接受特征向量设计的合理性以及特征向量匹配的准确性影响。由于特征向量的设计具有极强的人为性，导致所设计的特征向量具有局限性，使用特征向量点忽略了除特征向量点以外的其它信息。而且相机可能运动到特征向量点缺失的地方，这些地方没有明显的纹理信息。除此之外特征向量点的提取和描述子的计算十分耗时。直接法通过最小化光度误差来估计相机运动和像素的空间位置，其能够在特征向量不明显的场景中，例如走廊或者光滑的墙面上，取得较好的效果，但其只适用于运动幅度较小、图片整体亮度变化不大的情形。

传统的视觉里程计的计算方法都存在着以下两个问题：第一，必须需要知道相机的内参；第二，存在着精度与速度之间的艰难取舍。

发明内容

针对现有技术中的上述不足，本发明提供的基于深度学习和注意力机制的单目视觉里程计的计算方法解决了传统的视觉里程计的计算方法存在的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于深度学习和注意力机制的单目视觉里程计的计算方法，包括以下步骤：

S1、采用注意力机制构造注意力机制模块，并在注意力机制模块的基础上构建卷积神经网络；

S2、采集原始单目彩色图像，并将原始单目彩色图像尺寸裁剪为统一大小；

S3、将裁剪过后的第i张图像和第i+1张图片输入PWCnet光流计算模块，获取光流向量场，并将光流向量场按照4个象限等分为4个光流子向量场；

S4、将4个光流子向量场输入卷积神经网络，分别获取4个子特征向量；

S5、将4个子特征向量合并为一个总特征向量，然后将总特征向量输入全连接网络，获取估计位姿向量；

S6、以减少估计位姿误差为目标，对卷积神经网络进行训练；

S7、实时采集图片，并依次送入训练完成的卷积神经网络，得到若干连续的估计位姿向量，通过若干连续的估计位姿向量获取估计里程。

进一步地，所述卷积神经网络包括4条通道，所述4条通道的结构相同，均包括依次连接的第一卷积层、第一注意力机制模块、第二卷积层、第二注意力机制模块和第一特征向量合并模块，所述第一注意力机制模块还与第一特征向量合并模块的输入端连接，所述第一特征向量合并模块用于将第一注意力机制模块的输出数据和第二注意力机制模块输出数据组合；

所述第一卷积层为卷积核大小为9×9且卷积核数量为64的卷积层，所述第二卷积层为卷积核大小为3×3且卷积核数量为20的卷积层。