[发明专利]基于对应掩模的端到端的摄像头与激光雷达外参标定方法

说明书

本发明公开了基于对应掩模的端到端的摄像头与激光雷达外参标定方法，包括以下步骤：获取点云和图像序列数据；提取图像中棋盘格的角点、并结合棋盘格固有参数估计出棋盘格的掩模，从而生成棋盘格掩模的欧式距离变换；将点云数据剔除地面点和背景点后，进行点云分割，并提取棋盘格点云；对棋盘格2D掩模距离变换与棋盘格点云构造后向投影在距离变换场上的能量函数；通过遗传算法得到满足将3D点云投射到像平面区域的外参初值，并通过LM方法对外参初值进一步优化。本发明提供了一种图像中的掩模与激光点云中的点簇的对应关系，这一对应关系整体是明确的、但细节是模糊的特性，极大提高了其抗噪能力与鲁棒性，简化了外参标定过程，达到了很高的精度。

技术领域

本发明涉及摄像头与激光雷达的外参数标定方法，属于多传感器融合感知领域。特别是一种基于对应掩模的端到端的摄像头与激光雷达外参标定方法。

背景技术

摄像头传感器具有成本低、纹理语义信息丰富以及帧率高等优点，但容易受到光照条件的限制并很难恢复出精确的几何信息。激光雷达传感器拥有客观的几何测量精度且基本不受光照条件的限制，但是其空间分辨率低、语义信息难以提取以及帧率较低。将两者具有互补特性的传感器结合起来应用，在目前3D重建、增强现实与虚拟现实以及无人驾驶的3D目标探测、多层次高精度地图构建与定位等领域吸引了大量的研究注意力并取得了不错的成果。随着无人驾驶技术的不断发展以及应用落地，低成本激光雷达不断被研究开发出来，给量产车辆使用激光与视觉融合的解决方法提供了可能。另一方面，随着深度学习的不断发展，单目深度感知等研究课题不断取得新成果，这一任务依赖海量带有深度信息标注的图像样本，而这些样本的标注需要借助激光雷达。得到准确的摄像头与激光雷达的外参关系是实现视觉与激光点云融合应用的前提与关键，因此实现准确而鲁棒的摄像头与激光雷达标定至关重要。

仅仅通过对传感器安装位置的量测不可能得到精密的外参数，要得到精度满足应用要求的外参数需要借助传感器得到的影像与激光点云数据。通过影像和对应激光点云进行外参标定的过程实际上就是寻求一个变换矩阵在两个坐标系之间相互转换的过程。激光点云与图像数据在语义、分辨率以及几何关系上存在较大的差距，利用这些多模数据进行变换关系求解的过程实质上是寻找一个测度弥补这些鸿沟的过程。其中一种思路是寻求一组3D-3D或者3D-2D的特征对，这些特征可能是点、线段或者平面的对象，这种方法往往需要借助特殊的场景和标志物。另一种方法是寻求图像和激光点云之间的相关性信息，例如使用图像光度与激光雷达反射率、图像光度不连续性与激光雷达深度不连续性等，该方法一般不依赖于标定物而只需要自然场景中的目标，所以往往可以在线标定。利用相关性信息的方法因其具有不确定性，标定精度严重依赖场景，并且无法在比较大范围的初始参数收敛到正确值，因而目前无法应用于数据采集车、车厂量产车等需要鲁棒、高精度以及自动化的场景中。本发明所研究的方法是基于标定物的精确鲁棒标定。

基于标定物的方法往往需要设计各式各样的标定板、标定球、标定孔或者其他标志等实验设备，提取的大多数具有确定性关系的3D-3D对应点对、3D-3D对应法向或者3D-2D的对应点，这些方法因为需要得到这些对应关系，所以往往需要对实验设置进行限制或者人工干预，并且优化的精度取决于对3D-3D或者3D-2D对应点、线的精确提取，极容易受到噪声干扰，且会随着实验条件的恶化而失去鲁棒性。正是基于这一点考虑，本发明寻求了一种图像中的掩模与激光点云中的点簇的对应关系，这一对应关系从整体上是明确的，但对于细节是模糊的，这一特性极大提高了系统抗噪能力与鲁棒性，简化了实验设置和步骤，达到了很高的精度。

与本发明较为接近的是基于棋盘格标定板的3D-2D的点对的方法，但是该方法利用棋盘格生成的是确定性对应关系，当环境复杂或噪声变大时，可能提取不到正确的对应点关系甚至提取不到棋盘格点云。与本发明接近的方法还有基于轮廓配准的自然场景的外参校准，但是该方法所依赖的自然景物具有极大的不确定性，自然景物图像以及激光点云轮廓的提取的精度严重影响最后外参标定的结果，这将给标定带来不确定性。本发明提供的外参标定方法使用棋盘格点云簇与棋盘格掩模区域的对象级3D-2D对应关系，并且设计了有效的提取棋盘格点云的方法，可以保证算法的精度、稳定性、抗噪性以及减少对环境的依赖。