[发明专利]一种基于多类型相机的SLAM融合方法及其系统

权利要求书

1.一种基于多类型相机的SLAM融合方法，其特征在于：包括，

在车身前侧分别安装多类型的摄像机模块(100)；

对所述摄像机模块(100)进行相机标定；

所述相机标定包括同时标定相机的内外参和相机相对于车载坐标系的变换矩阵，多相机之前的变换关系通过相机对车载坐标系的变换矩阵推算得出；

所述变换矩阵推算包括以下步骤，

标定所述摄像机模块(100)并获取其标定数据；

拍摄图像(600)根据所述标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁；

利用所述消除畸变图像中标定图案的特征点获取像素坐标；

利用所述像素坐标和原始标定图案(500)的位置坐标求出透视变换矩阵E₂，且所述位置坐标相对于车身坐标系O₁；

定义拍摄图像(600)的像素坐标与所述车身坐标系O₁的变换关系为E＝E₂·E₁所述摄像机模块(100)采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；

硬件同步模块(200)将所述摄像机模块(100)采集的不同类型图像信息在时间戳上同步；

硬件同步模块(200)包括单片机模块(201)、GPS时间接收机(202)和RTC芯片；

所述单片机模块(201)时间信息接收模块接收所述GPS时间接收机(202)的时间信息和时间脉冲；所述RTC芯片与所述单片机模块(201)内的RTC模块连接；相机反馈信号连接所述单片机模块(201)的反馈信号检测模块；

SLAM融合模块(300)将所述摄像机模块(100)采集的不同类型图像进行图像融合进行车载显示；

所述SLAM融合包括以下步骤，

根据实时所处的场景的环境因数，决策单元选择合适的相机作为当前场景下的主使用相机；

将其它相机的特征点通过变换矩阵计算出在当前主使用相机的图像坐标点，并以所述图像坐标点为坐标原点；

固定半径范围内搜索得出距离最短的特征点，滤出超出一定距离阈值的外点，输出更加可靠的特征点。

2.如权利要求1所述的基于多类型相机的SLAM融合方法，其特征在于：所述摄像机模块(100)还包括单目相机模块(101)、双目相机模块(102)、RGB-D相机模块(103)。

3.如权利要求2所述的基于多类型相机的SLAM融合方法，其特征在于：所述单目相机模块(101)采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取，同时所述双目相机模块(102)对其采集的图像进行深度图的计算，同时所述RGB-D相机模块(103)将其采集的彩色图与深度图对齐。

4.如权利要求1所述的基于多类型相机的SLAM融合方法，其特征在于：所述相机相对于车载坐标系的变换矩阵获取包括如下步骤，

标定摄像机模块(100)并将所述摄像机模块(100)设置于车身(400)的预设目标位置上；

在预设拍摄位置上放置原始标定图案(500)；

利用所述摄像机模块(100)拍摄所述原始标定图案(500)得到所述拍摄图像(600)；

对所述拍摄图像(600)进行预处理，获取所述拍摄图像(600)的像素坐标与参照坐标系间的坐标变换关系。

5.如权利要求4所述一种基于多类型相机的SLAM融合方法，其特征在于：定义所述参照坐标系包括以下步骤，

选取所述车身(400)上的任一位置为原点O；

根据所述原点O定义车身坐标系O₁为所述参照坐标系。

6.一种采用如权利要求1～5任一所述的基于多类型相机的SLAM融合方法的系统，其特征在于：包括摄像机模块(100)、硬件同步模块(200)和SLAM融合模块(300)；

所述摄像机模块(100)设置于车身(400)且与水平面平行的多类型相机，还包括单目相机模块(101)、双目相机模块(102)、RGB-D相机模块(103)；

所述硬件同步模块(200)用于所述单目相机模块(101)、所述双目相机模块(102)和所述RGB-D相机模块(103)在时间戳上的同步；

所述SLAM融合模块(300)将所述摄像机模块(100)采集的多类型图像信息进行融合并与车载显示器进行显示。