[发明专利]一种基于卷积神经网络的室内移动机器人视觉定位方法

说明书

本发明公开了一种基于卷积神经网络的室内移动机器人视觉定位方法，属于机器人自主导航领域。本发明在室内机器人平台上搭载有前视双目相机以及机载计算机。双目相机采集图像，用卷积神经网络提取特征点，再用于基于特征点法的视觉里程计。重定位采用目标检测的方法提取图片的特征向量，并进行运动估计。机载计算机利用视觉里程计(或重定位)的结果构造用于定位的局部地图，并得到机器人实时位姿。再将位姿反馈给机器人控制系统，控制机器人的位置。本发明实现了机器人在缺失GPS环境下的实时位姿估计，极大地提高室内机器人的自主导航水平。

技术领域

本发明涉及自动驾驶与定位导航技术，尤其涉及一种基于卷积神经网络的室内移动机器人视觉定位方法。

背景技术

移动机器人，是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统。它集中了传感器技术、信息处理、电子工程、计算机工程、自动化控制工程以及人工智能等多学科的研究成果，代表机电一体化的最高成就，是目前科学技术发展最活跃的领域之一。随着机器人性能不断地完善，移动机器人的应用范围大为扩展，不仅在工业、农业、医疗、服务等行业中得到广泛的应用，而且在城市安全、国防和空间探测领域等有害与危险场合得到很好的应用。但目前移动机器人仍有一定的局限性，最大的局限性就是不能向真正的人类那样对未知环境进行探索。如早期的扫地机器人，只能按照设定的路线进行清扫，碰到墙壁或物体边缘便转向，导致清扫线路杂乱无章、效率低下。移动机器人何时才能向真正的人类一样在不借助GPS的情况下在小范围的未知环境中(如室内)知道自己的位置，也就是移动机器人在未知环境中运行时如何进行定位导航与地图构建(SLAM，simultaneous localization and mapping)，这引起了各界的广泛关注

早期的SLAM大多为激光SLAM，也就是用于此种SLAM的传感器是激光雷达。早在2005年的时候，激光SLAM就已经被研究的比较透彻，框架也已初步确定。激光SLAM，是目前最稳定、最主流的定位导航方法。但是，激光雷达相对昂贵，安装也有结构要求，而且受到探测范围的限制。而随着计算机视觉的迅速发展，视觉SLAM因为信息量大，适用范围广等优点受到广泛关注。视觉SLAM的传感器使用相机作为传感器，成本低，结构简单，适合大面积推广，但最大的缺点是受环境影响较大，随着地图的构建，会存在一些累计误差，而且运算负荷大。

发明内容

发明目的：针对现有技术存在的问题，本发明的提供了一种鲁棒性强、定位精度高的基于卷积神经网络的室内移动机器人视觉定位方法。

技术方案：本发明所采用的一种基于卷积神经网络的室内移动机器人视觉定位方法，包括以下步骤：

(1)机器人平台搭载有前视双目相机，所述双目相机每秒采集n帧图像；机载计算机开启线程，以n Hz的频率运行基于特征点法的视觉里程计；

定义k时刻获取双目相机中左边相机对应的图像和右边相机对应的图像将与作为卷积神经网络的输入，卷积神经网络输出提取特征点后的图像与将与作为基于特征点法的视觉里程计的输入，视觉里程计输出当前双目图像中图像相对于地图中参考帧的左边相机图像的位姿变换矩阵T^k,r；

若上述基于特征点法的视觉里程计跟踪失败，则进入步骤(2)进行重定位，采用基于目标检测和相似度检测的方法确定图像位姿；否则，跳过步骤(2)，直接进入步骤(3)；

(2)定义k时刻获取所述提取特征点后的图像与左边图像作为目标检测的输入，目标检测输出的特征向量v；v作为相似度检测的输入，相似度检测输出与相似度最高的参考帧的左边相机图像将与作为运动估计的输入，运动估计的输出是与的位姿变换矩阵T^k,r；

(3)机载计算机将当前双目图像中左边相机图像的位姿变换矩阵T^k,r用于构建实现定位的局部地图，并得到机器人的实时位姿T^k,w；将T^k,w作为位姿信息通过串口发送给控制系统中的控制单元，对机器人进行位置控制。