[发明专利]一种基于多类型相机的SLAM融合方法及其系统

说明书

本发明公开了一种基于多类型相机的SLAM融合方法及其系统，包括以下步骤，在车身前侧分别安装多类型的摄像机模块；对所述摄像机模块进行相机标定；所述摄像机模块采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；所述硬件同步模块将所述摄像机模块采集的不同类型图像信息在时间戳上同步；SLAM融合模块将所述摄像机模块采集的不同类型图像进行图像融合进行车载显示。本发明的有益效果：将辅助用的相机的信息投射到主用的相机中，从而能提高整个系统的鲁棒性，解决单种类相机的使用瓶颈方案硬件成本低。

技术领域

本发明涉及以视觉为主图像采集融合技术领域，尤其涉及一种基于多类型相机的SLAM融合方法及其系统。

背景技术

在车辆高级驾驶辅助系统中，定位和建图是不可缺少的技术，比如在弱GPS或者无GPS时车辆需要依赖SLAM技术导航和路径规划。高级驾驶辅助系统是利用安装在车上的各式各样传感器，如毫米波雷达、激光雷达、单\双目摄像头以及卫星导航，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。

目前普遍采集视觉+激光雷达的方式，但是激光雷达价格昂贵，成本比较高，而视觉传感器利用相机感知周围环境，能够提供距离和丰富的外观信息。基于以视觉为主的方式，单目SLAM无法直接测量距离，双目SLAM需要大量的计算单元去计算深度，RGB-D SLAM使用场景有限，目前仅适用于室内近距离的感知。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：解决单种类相机的应用限制，以及提高整个系统的鲁棒性。

为解决上述技术问题，本发明提供如下技术方案：一种基于多类型相机的SLAM融合方法，包括以下步骤，在车身前侧分别安装多类型的摄像机模块；对所述摄像机模块进行相机标定；所述摄像机模块采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；所述硬件同步模块将所述摄像机模块采集的不同类型图像信息在时间戳上同步；SLAM融合模块将所述摄像机模块采集的不同类型图像进行图像融合进行车载显示。

作为本发明所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述摄像机模块还包括单目相机模块、双目相机模块、RGB-D相机模块。

作为本发明所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述单目相机模块采集图像信息并对其采集的图像进行矫正和ORB特征点的抽取，同时所述双目相机模块对其采集的图像进行深度图的计算，同时所述RGB-D相机模块将其采集的彩色图与深度图对齐。

作为本发明所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述相机标定包括同时标定相机的内外参和相机相对于车载坐标系的变换矩阵，多相机之前的变换关系通过相机对车载坐标系的变换矩阵推算得出。

作为本发明所述的基于多类型相机的SLAM融合方法的一种优选方案，其中：所述相机相对于车载坐标系的变换矩阵获取包括如下步骤，标定摄像机模块并将所述摄像机模块设置于车身的预设目标位置上；在预设拍摄位置上放置原始标定图案；利用所述摄像机模块拍摄所述原始标定图案得到所述拍摄图像；对所述拍摄图像进行预处理，获取所述拍摄图像的像素坐标与参照坐标系间的坐标变换关系。