[发明专利]基于端到端的相机与激光雷达标定方法、系统及介质

说明书

本发明提供了一种基于端到端的相机与激光雷达标定方法、系统及介质，包括：步骤1：对相机RGB图像进行逐层特征提取；步骤2：对激光雷达点云数据进行逐层特征提取；步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定。本发明提升了相机与激光雷达标定的精度，改善了传统卷积神经网络方法在由点云获得的深度特征提取上的误差问题，在特征融合方式上提出了新的融合方式，在自动驾驶等场景上有实际利用价值。

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种基于端到端的相机与激光雷达标定方法、系统及介质。

背景技术

在视觉同时定位与建图(SLAM)领域中，相机一直是最常用的传感器。在实践中人们希望能在相机之外引入其他类型的传感器，从而能更全面地获取环境的信息。激光雷达可以直接得到三维信息，将扫描得到的三维点云和相机的RGB图像融合后能够进行信息的相互补充。我们可以利用激光雷达点云中的深度信息强化相机的二维RGB信息，反过来，也可以利用相机RGB信息中的色彩信息补充激光雷达点云的深度信息。因此，相机和激光雷达组成的多传感器系统成为了热门的研究方向之一。然而，要想有效地实现这种多传感器系统，我们有必要知道传感器之间的位置关系，这就是传感器标定。随着相关研究的深入，逐步出现了RGB图像与激光雷达点云的边缘特征匹配法和RGB图像三维重建点云与激光雷达点云的匹配法。这两种方法的特征都是确切的，物理意义比较明确。但明显的缺点是，特征的描述往往没有足够的区分性，这将导致匹配错误或失败，特别是在初始误差较大的情况下。深度学习的快速发展和计算机硬件性能的大幅提升使得基于深度学习的标定方法获得了工程应用上的可能。因此，可以考虑将RGB图像和激光雷达点云分别输入对应的深度学习网络，得到RGB图像和激光雷达点云的特征，然后输入匹配网络进行训练，与真值对比，使损失最小化，这就是基于深度学习的特征匹配法的基本思想。该方法的优势在于利用了深度网络强大的非线性拟合能力，是目前标定方法的重要研究方向之一。

激光雷达点云由激光雷达扫描采集的数据集合，一般包括所有扫描点的三维坐标信息和雷达反射率。传感器标定是自动驾驶等场景的基本需求。为了共同处理同一片被测量区域，有必要确定同一平台上的多传感器之间的坐标变换关系。传感器标定的结果是一个外参标定矩阵，其中包含坐标旋转量和平移量参数。特征提取是指对初始数据进行变换，获得具有某种特殊性的变换结果以方便进行下一步的学习和处理。

专利文献CN110148180A(申请号：CN201910323937.5)公开了一种激光雷达与相机融合装置与标定方法，包括竖直升降台和标定板支架；所述竖直升降台上的工作导轨上设有工作台，所述工作台上固定安装有相机和激光雷达；所述标定板支架上固定安装有标定板；所述激光雷达在所述标定板上扫描得到一条水平直线，找到此直线在标定板边界上的左右端点，然后多次移动相同间隔，便可以得到左右边线上的多组端点，拟合便可近似得到左右边界的直线方程进而得到标定板的端点；将相机图片上端点所在位置的像素点与端点对应便可以得到相机和雷达的位姿关系表达式；运用本激光雷达与相机融合标定方法能够获取雷达点云稀疏的场景下的特征，并能够解得内外参的联合表达式。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于端到端的相机与激光雷达标定方法、系统及介质。

根据本发明提供的基于端到端的相机与激光雷达标定方法，包括：

步骤1：对相机RGB图像进行逐层特征提取；

步骤2：对激光雷达点云数据进行逐层特征提取；

步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；

步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；

步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定。