[发明专利]基于自然场景的激光雷达和相机的外参标定方法

权利要求书

1.一种基于自然场景的激光雷达和相机的外参标定方法，其特征在于，包括如下步骤：

步骤1，获取同步的且具有行人的激光点云与相机图像，并获取激光点云中不同行人个体的检测框，以及相机图像中不同行人个体的掩膜；

步骤2，基于检测框与掩膜建立激光点云与相机图像中行人的映射，得到若干相机图像与激光点云的2D-3D匹配点对；

步骤3，以2D-3D匹配点对作为第一阶段粒子输入到第一阶段粒子群优化模型中，迭代优化2D-3D匹配点对，并基于优化后的2D-3D匹配点对得到初始外参；

步骤4，以初始外参作为第二阶段粒子输入到第二阶段粒子群优化模型中进行迭代优化，得到相机与激光雷达之间的实际外参；

步骤3中，所述第一阶段粒子群优化模型的迭代优化具体包括如下步骤：

步骤3.1，基于所有2D-3D匹配点对构建第一阶段粒子：

式中，表示第一阶段粒子群优化模型的粒子群，表示第组2D-3D匹配点对中2D点的坐标，表示第组2D-3D匹配点对中3D点的坐标，表示第一阶段粒子群优化模型中第个第一阶段粒子，表示2D-3D匹配点对的总数，以及第一阶段粒子群优化模型中的第一阶段粒子总数；

步骤3.2，计算每一个第一阶段粒子的第一阶段评估函数：

式中，表示第个第一阶段粒子的第一阶段评估函数，K是相机内参，为第个第一阶段粒子对应的外参，P表示检测框中任一3D点的坐标，所有检测框中所有3D点的集合，HSS是一个二值函数，表示为：

式中，表示相机图像中与检测框对应的掩膜，表示3D点P经过投影后落在掩膜中，表示3D点P经过投影后没有落在掩膜中；

步骤3.3，将第一阶段评估函数最低的第一阶段粒子作为当前种群中最优的第一阶段粒子，计算每个第一阶段粒子每一次迭代的更新速度：

+

式中，表示第个第一阶段粒子在第次迭代时的更新速度，表示当前种群中最优的第一阶段粒子，表示历史迭代最优的第一阶段粒子，、为步长，为随机数，，其中， =1,2,···, ，表示第一阶段粒子群优化模型的最大迭代次数，当=1时，=0；

步骤3.4，基于更新速度更新第一阶段粒子：

步骤3.5，在粒子更新后计算每一个第一阶段粒子的第二阶段评估函数：

式中，表示第个第一阶段粒子的第二阶段评估函数，K是相机内参，表示更新后的第个第一阶段粒子对应的外参，P表示检测框中任一3D点的坐标，表示所有检测框中所有3D点的集合，

式中，表示相机图像中与检测框对应的掩膜，表示3D点P经过投影后落在掩膜中，表示3D点P经过投影后没有落在掩膜中；

步骤3.6，提取第二阶段评估函数最低的第一阶段粒子，1≤A≤，并基于进行扩充，得到下一次迭代的粒子群：

式中，、、为步长；

步骤3.7，判断=是否成立，若成立则输出当前种群中最优的第一阶段粒子所对应的外参作为初始外参，否则令=+1，并将当前种群中最优的第一阶段粒子作为历史迭代最优的第一阶段粒子后返回步骤3.2。

2.根据权利要求1所述基于自然场景的激光雷达和相机的外参标定方法，其特征在于，步骤1中：

将激光点云输入到pointpillars点云检测网络中，输出不同行人个体的检测框；

将相机图像输入到实例分割网络MRCNN中，输出不同行人个体的掩膜。

3.根据权利要求1所述基于自然场景的激光雷达和相机的外参标定方法，其特征在于，步骤2的具体过程为：

步骤2.1，将激光点云转化为深度图，根据深度图中检测框中的像素值确定对应雷达点云的坐标以及所在的检测框；

步骤2.2，通过人工标注将深度图与相机图像中的行人相对应，得到激光点云和相机图像的行人映射，然后分别在激光点云和相机图像中提取行人的中心点和头部顶点，得到多组匹配点对，每一组匹配点对包括一相机图像中的2D点与一激光点云中的3D点；

步骤2.3，对于步骤2.2中的每一组匹配点对，分别在相机图像中、激光点云中对应2D点周围、对应3D点周围提取多组具有映射关系的2D点与3D点，得到若干新的匹配点对；

步骤2.4，综合步骤2.2与步骤2.3中得到的匹配点对，即为步骤2中的2D-3D匹配点对。