[发明专利]基于RGB-D相机的视觉里程计方法

摘要

本发明公开了一种基于RGB-D相机的视觉里程计方法。现有视觉里程计方法都是基于单目或双目相机，或无法得到场景的三维信息，或设备较为复杂安装不便。本发明包括RGB-D相机、电脑主机和自主车辆；电脑主机安装在自主车辆内部，RGB-D相机固定在自主车辆外围顶端；RGB-D相机通过USB接口（或1394接口）与电脑主机相连，本发明依靠RGB-D相机得到的对齐RGB-D图像序列，通过前后帧图像的特征提取、特征匹配与跟踪和运动估计得出车体的运动距离和方向；本发明设备简单，安装便利，成本较低，图像处理工作量较小，可获取精确的场景三维信息，运动估计结果精确可靠。

主权项

1. 基于RGB-D相机的视觉里程计方法，其特征在于包括如下步骤：步骤(1).将RGB-D相机固定在自主车辆外围顶端，代替传统的单目或双目相机来感知环境，并输出彩色图像和深度图像；步骤(2).由于RGB-D相机中彩色相机和深度相机处于不同位置，因此，将给出的深度图像与彩色图像对齐；深度图像与彩色图像对齐步骤如下：2-1.针孔相机成像模型的齐次坐标形式如下：（1）其中：表示一个世界坐标系下的三维点，是点投影在二维图像平面的点，为针孔相机的内参数矩阵，为针孔相机的外参数矩阵，为针孔相机坐标系相对于世界坐标系的旋转矩阵，为针孔相机坐标系相对于世界坐标系的平移向量，是三维点在世界坐标系下的坐标，是投影点在二维图像平面的坐标；2-2.对式（1）展开得：（2）其中：，，是平移向量的另外一种表示方式，表示针孔相机坐标系与世界坐标系的原点之间的位移，为针孔相机平移矩阵，为针孔相机旋转矩阵；2-3.根据式（2），以深度相机的坐标系作为世界坐标系，对彩色相机建立投影模型得：（3）以深度相机的坐标系作为世界坐标系，对深度相机建立投影模型得：（4）由式（3）和（4）得出：或（5）其中：是以深度相机坐标系作为世界坐标系下的三维点投影在彩色相机二维图像平面的点，是以深度相机坐标系作为世界坐标系下的三维点投影在深度相机二维图像平面的点，为彩色相机内参数矩阵，为深度相机内参数矩阵，为彩色相机相对于深度相机的外参数矩阵；为彩色相机相坐标系对于深度相机坐标系的旋转矩阵，为彩色相机坐标系相对于深度相机坐标系的平移向量，是的另外一种表示方式，表示彩色相机坐标系与深度相机坐标系的原点间的位移，表示一个以深度相机坐标系作为世界坐标系下的三维点；2-4.根据式（4）算出深度图像上每一个像素点在以深度相机的坐标系作为世界坐标系下的三维坐标，同时根据式（5），算出深度图像上每一个像素点对应的彩色图像的投影平面坐标，得到与彩色图像对齐的深度图像，并将对齐后且包含三维坐标信息的深度图像记为；步骤(3).剔除深度图像中无效和不稳定的区域，同时对彩色图像进行图像平滑操作，得到准确可靠的二维RGB-D图像；步骤(4).以时间T为周期，均匀采集彩色图像和深度图像，根据步骤(2)、步骤(3)将采集到的彩色图像和深度图像转换为二维RGB-D图像，从而得到在时间轴上连续的二维RGB-D图像序列；步骤(5).根据时间轴的先后顺序，依次选取二维RGB-D图像序列中连续的前后两帧图像和，分别对这两帧图像进行特征点的提取与描述，得到特征点集和，所有特征点集里的特征点有相同的维数，为正整数；步骤(6).对于特征点集中的每一个特征点，从特征点集中找到与特征点的特征向量最邻近的特征点；若特征点与特征点之间特征向量的距离小于阈值，则记录特征点与特征点为相匹配的一对特征点对，表示为；若特征点与特征点之间特征向量的距离大于等于阈值，则特征点集中没有与特征点相匹配的特征点；特征点对表示了三维场景中同一个点在连续的前后两帧图像上的不同投影，通过步骤(6)可得到一个特征点对集合；步骤(7).对得到特征点对集合进行筛选，获得较优的用于确定运动参数的三维点对；特征点对集合筛选步骤如下：7-1.对特征点对集合进行多次随机取样，每次从中随机抽出a对特征点对，根据这a对特征点对及其对应的估计刚体的运动参数的方法算出两帧图像间的运动参数，即旋转矩阵和平移向量，其中a为正整数；7-2.对于特征点对集合中的每一个特征点对，算出前帧图像中特征点经旋转矩阵和平移向量后的三维坐标；若与的三维距离小于阈值,则特征点被划分为内点；若与的三维距离大于等于阈值，则特征点被划分为外点；7-3. 经过b次随机取样试验后，找出内点数目最多的那次随机取样试验，其中b为正整数；将该次取样试验所取的特征点对，作为最终筛选的用于确定运动参数的三维点对；将该次取样试验所估计的运动参数，作为最终确定的运动参数。