[发明专利]融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法

说明书

本发明公开了一种融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法。所述方法包括获取多源传感器数据，并对各传感器数据进行数据注册，将其统一到双目相机坐标系下；对注册后的各传感器数据进行关联，获得关联的多源深度数据；基于关联的多源深度数据，采用梯度信息的深度补偿融合算法获得更准确、更稠密的深度数据。本发明通过融合多源深度数据，不但充分利用多源传感器数据，还保证了所获深度图像的准确性和稠密性。

技术领域

本发明涉及智能机器人的深度图像技术方法领域，具体而言，设计一种融合激光雷达、双目相机和ToF深度相机数据进行智能机器人的同时定位与深度图像的构建方法。

背景技术

同时定位与地图创建(Simultaneously Localization and Mapping,简称SLAM)是指机器人依靠其携带的传感器进行自身的定位，同时增量式地创建环境的地图，是智能机器人在未知环境中自主完成任务的前提和基础。而机器人定位问题，需要直接或间接获取环境的距离信息才可求解。因此距离测量是机器人技术的一项重要要求。在摄像机坐标系中，距离信息是沿深度方向定义的，所以距离测量也被称为深度测量。

目前，主流的深度测量传感器有双目相机、ToF深度相机、激光雷达。

双目相机是由一对固定基线的相机组成的，深度图像可根据两张彩色图像进行特征匹配来获取。在光照强烈的条件下，双目相机可以正常工作。但当环境光线昏暗时或所处环境缺乏纹理信息时，两张彩色图像无法匹配到鲁棒的特征，双目相机难以获取准确的深度图像。ToF深度相机通过红外LED(发光二极管)发射红外光，接收反射的红外光，根据光的飞行时间计算每个像素的距离。ToF深度相机可以直接捕获深度图像，且由于工作原理的优势，其捕获的深度图像精度较高，但是红外光很容易被强烈的光照所干扰，因此ToF深度相机在光照强烈的环境下并不适用。激光雷达同样也是一种根据发射和接收光的飞行时间来计算深度的设备，但它使用的是红外激光发射器而不是LED。激光雷达的深度测量精度很高，且由于激光的光相干性，激光雷达的不受环境光线的干扰。虽然激光雷达的工作条件范围很广，但由于硬件的限制，激光扫描只能捕捉到很稀疏的深度，在一些关键区域可能会缺乏深度信息。

由于每种传感器的不同特性，他们获取到的深度信息各有优缺点，如果能够综合利用三类传感器的优势，融合三类传感器的数据，便能在机器人定位与建图任务中提供更精准和稠密的深度图像，还能提高机器人定位与地图构建的精度。

发明内容

本发明旨在解决智能机器人定位与地图构建问题中，单一传感器由于受硬件条件及工作环境限制，无法在复杂多变的工作环境下获取准确有效的深度信息，导致智能机器人定位与建图精度低的技术问题。

本发明为解决此问题，提出了利用三种传感器结合，在复杂的工作环境下生成准确且稠密的深度图像的技术方案。此技术方案主要包括传感器数据注册单元(20)、多源数据关联单元(30)，多源深度数据融合单元(40)。本发明中使用的传感器包括激光雷达(11)、ToF深度相机(12)和双目相机(13)。由于三种传感器的安装位置不同，获取到的数据不在统一坐标系下，因此利用点云ICP(Iterative Closet Point)算法对三种传感器进行位姿标定，将各传感器获取到的信息进行数据注册，把不同传感器数据统一到双目相机成像坐标系中；由于各传感器帧率的不匹配，且与双目相机(13)和激光雷达(11)相比，ToF深度相机(12)成像存在较大延迟的问题，不同传感器数据时间戳不对应，因而需要对数据进行关联实现数据对齐；由于双目相机(13)不适于在黑暗和缺乏纹理特征的环境下工作，ToF深度相机(12)的在光照强烈的条件下容易受到干扰，激光雷达(11)获取到的深度信息过于稀疏，本发明的深度图像构建算法结合了各自传感器的优势，通过一种新式的基于梯度信息的深度补偿融合算法，在复杂的工作环境下获得更准确、更稠密的深度数据。

本发明的一种融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法，其特征在于深度图像构建包括有下列步骤：