[发明专利]基于自然场景的激光雷达和相机的外参标定方法

说明书

本发明公开了一种基于自然场景的激光雷达和相机的外参标定方法，基于同时采集的雷达点云以及相机图像，以自然场景的行人为目标，通过点云行人检测以及图像行人的实例分割，提取点云和图像中对应行人的中心点以及顶点，从而获得点云和图像的关键点匹配。将关键点作为粒子群的初始点利用粒子群算法来初始化平移向量和旋转矩阵，利用随机粒子群算法对关键点位置进行有限次数的迭代，然后利用随机粒子群算法直接对旋转向量和特征矩阵进行优化，最后收敛获得稳定的旋转矩阵和平移向量。克服了点云和图像无法严格对应的问题，获得更加精准的关键点位置，从而得到更加精准的外参结果，更具有可解释性。

技术领域

本发明涉及计算机视觉和机器人技术领域，具体是一种基于自然场景的激光雷达和相机的外参标定方法。

背景技术

随着激光雷达和相机在无人系统中的应用越来越广泛，通过使用多传感器融合的方法来提高无人系统的感知水平得到越来越多的关注。相机可以获得高分辨率的RGB图片，有充分的颜色、纹理等信息，但缺少深度信息并且对光敏感。雷达可以提供目标的三维空间信息，但分辨率低且没有颜色信息。两者结合可以很好的弥补各自的缺点，更全面的反应目标的特征。由于相机与雷达在不同的坐标系统中，相机和雷达的信息融合需要雷达和相机之间的坐标变换矩阵，因此准确的外参标定是多传感器进行准确融合的关键。

对于相机和雷达的外参标定，传统标定方法使用棋盘等特定标定物，这些方法往往需要对标定物进行线或者面等的提取，基于人造标定物的方法前期准备和处理花费时间长，需要特定的标定场景。利用自然场景中的几何特征如平面、线段、平行线消失点等来实现无目标的标定方法，对图像和点云中进行精确的线、面提取提出了较高要求，并且这些线、面等特征往往存在于人工环境中，如室内墙面、建筑物等，导致该类方法标定场景受限。为了减少对场景中特征的依赖，有的方法没有利用特征匹配而是利用自身运动估计来计算外参，基于运动估计的方法要求精准且充分的自身运动状态估计，同时要求场景中存在三维几何特征和可跟踪视觉特征，缺乏这些特征会导致LiDAR测距估计中的定位滑动，从而影响校准结果的准确性，并且基于运动估计的方法在机器人平台更容易移动校准，但不适用于无人车等车辆类型平台，因为车辆在短时间内不容易做出足够的运动。此外，随着深度学习近年来取得的成功，也出现将深度学习应用到相机-雷达的外参估计的方法，然而基于网络的方法需要深度真值作为监督数据，在现实场景中往往难以获得精确的深度真值，并且深度网络的方法可解释性差，泛化能力也有一定的限制。

发明内容

针对上述现有技术中的不足，本发明提供一种基于自然场景的激光雷达和相机的外参标定方法，克服了点云和图像无法严格对应的问题，获得更加精准的关键点位置，从而得到更加精准的外参结果。

为实现上述目的，本发明提供一种基于自然场景的激光雷达和相机的外参标定方法，包括如下步骤：

步骤1，获取同步的且具有行人的激光点云与相机图像，并获取激光点云中不同行人个体的检测框，以及相机图像中不同行人个体的掩膜；

步骤2，基于检测框与掩膜建立激光点云与相机图像中行人的映射，得到若干相机图像与激光点云的2D-3D匹配点对；

步骤3，以2D-3D匹配点对作为第一阶段粒子输入到第一阶段粒子群优化模型中，迭代优化2D-3D匹配点对，并基于优化后的2D-3D匹配点对得到初始外参；

步骤4，以初始外参作为第二阶段粒子输入到第二阶段粒子群优化模型中进行迭代优化，得到相机与激光雷达之间的实际外参。

在其中一个实施例中，步骤1中：

将激光点云输入到pointpillars点云检测网络中，输出不同行人个体的检测框；

将相机图像输入到实例分割网络MRCNN中，输出不同行人个体的掩膜。

在其中一个实施例中，步骤2的具体过程为：