[发明专利]一种基于卷积神经网络的室内移动机器人视觉定位方法

权利要求书

1.一种基于卷积神经网络的室内移动机器人视觉定位方法，其特征在于，包括以下步骤：

(1)机器人平台搭载有前视双目相机，所述双目相机每秒采集n帧图像；机载计算机开启线程，以n Hz的频率运行基于特征点法的视觉里程计；

假设k时刻获取双目相机中左边相机对应的图像和右边相机对应的图像将与作为卷积神经网络的输入，卷积神经网络输出提取特征点后的图像与将与作为基于特征点法的视觉里程计的输入，视觉里程计输出当前双目图像中图像相对于地图中参考帧的左边相机图像的位姿变换矩阵T^k,r；

若上述基于特征点法的视觉里程计跟踪失败，则进入步骤(2)进行重定位，采用基于目标检测和相似度检测的方法确定图像位姿；否则，跳过步骤(2)，直接进入步骤(3)；

(2)假设k时刻获取了提取特征点后的图像与左边图像作为目标检测的输入，目标检测输出的特征向量v；v作为相似度检测的输入，相似度检测输出与相似度最高的参考帧的左边相机图像将与作为运动估计的输入，运动估计的输出是与的位姿变换矩阵T^k,r；

(3)机载计算机将当前双目图像中左边相机图像的位姿变换矩阵T^k,r用于构建实现定位的局部地图，并得到机器人的实时位姿T^k,w；将T^k,w作为位姿信息通过串口发送给控制系统中的控制单元，对机器人进行位置控制。

2.根据权利要求1所述的基于卷积神经网络的室内移动机器人视觉定位方法，其特征在于，步骤(1)中，基于VGG卷积神经网络提取特征点，选取VGG的最后一个卷积层作为特征提取的输出，再经过Softmax层，输出图像上每个像素点是角点的概率；训练该神经网络的数据集拟采用自己构造的数据集，该数据集拟使用基于Opencv自动生成的在不同像素亮度下的各类有规则的几何形状，这些图像的角点位置已知，且在不同像素亮度下都有相应的图像。

3.根据权利要求1或2所述的基于卷积神经网络的室内移动机器人视觉定位方法，其特征在于，采用卷积神经网络提取特征点的具体步骤如下：

(1.1.1)假设双目相机极线水平，首先获取双目相机中左边相机对应的图像和右边相机对应的图像并根据相机参数对与进行畸变校正，获得矫正后的图像与

(1.1.2)把与作为神经网络的输入，神经网络的输出是左边图像和右边图像每个像素点是角点的概率；

(1.1.3)采取非极大值抑制算法，选取局部范围内概率最大的点作为角点，使角点均匀化；

(1.1.4)计算左图图像角点和左图图像角点的描述子，得到左图特征点与右图特征点