[发明专利]一种利用红外相机和深度相机融合构建栅格地图的方法

说明书

本发明公开了一种利用红外相机和深度相机融合构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用红外相机和深度相机融合构建地图，可以低亮度或夜间使用，而且算法鲁棒性强精度高。

技术领域

本发明属于图像处理和计算机视觉领域。利用红外相机和深度相机的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。是一种利用多传感器构建栅格地图的方法。

背景技术

近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，双目相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，双目相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有双目相机和雷达，使用双目相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正双目相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且不适合在规模较小的环境使用。

发明内容

为解决上述问题本发明提出使用红外相机和深度相机构建栅格地图的方法，深度相机测距范围有限但是精度高，红外相机与双目相机相似测距范围大获取可以获取远处的信息，而且红外相机可以全天候使用。但是两传感器的位姿和时间标定存在困难，本发明中使用最大点云配准和分段对齐完成。两传感器数据融合影响算法的执行效率，本发明提出的权值状态更新方法融合数据可以提升算法效率。本发明提出一种高效的利用深度相机和红外相机构建栅格地图的方法。

具体技术方案的步骤如下：

1)传感器配准

使用红外相机和深度相机同时拍摄不同姿态、不同位置的标定物，设由深度图转换得到的点云分别为P_i和P_d，使点对满足且点对的数量达到最大，得到位姿为T；

获得红外相机深度图序列和深度相机深度图序列，分别计算两个序列的运动轨迹l_i和l_d，并将轨迹分为n个时间段进行对齐，获得时间偏移t₁，...，t_n；取平均值t作为两传感器的时间偏移；

2)深度权值更新

两种传感器生成的深度图分别为D_i和D_d，精度分别为W_i和W_d；使用红外图像进行场景判别；如果场景为室内则用系数因子β_i和β_d分别乘以传感器精度，否则判断场景的亮度，如果低于I_min则用系数因子α_i和α_d分别乘以传感器精度；

3)筛选视线

传感器深度图D_i和D_d；首先判断两深度图是否满足时间偏移t，若不满足则放弃处理；若满足则用位姿T配准得到点云P_f；然后对点云进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l^·；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；

4)更新栅格状态