[发明专利]基于端到端的相机与激光雷达标定方法、系统及介质

权利要求书

1.一种基于端到端的相机与激光雷达标定方法，其特征在于，包括：

步骤1：对相机RGB图像进行逐层特征提取；

步骤2：对激光雷达点云数据进行逐层特征提取；

步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；

步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；

步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定；

所述步骤1包括：

对于输入的RGB图像，利用由多层卷积组成的RGB特征提取模块进行特征的提取，该RGB特征提取模块由三个不同卷积核大小的特征提取模块组成，依次提取不同尺度的特征；

三个特征提取模块的卷积核大小按特征提取的先后顺序排列，依次为11×11、5×5、3×3，分别得到第一尺度特征图RF₁、第二尺度特征图RF₂、第三尺度特征图RF₃；

所述步骤2包括：

通过PointNet++网络结构的特征提取网络进行激光雷达点云数据的特征提取，激光雷达点云数据首先输入采样层进行采样，确定出K_i个采样点P_i，接着通过分组层以这些采样点为中心点进行点集区域划分，在每个区域内使用多层感知机进行特征编码，最后通过汇聚层得到的每个区域的汇聚特征，即采样点的特征向量，记为LF_i，得到K_i个激光雷达点及其特征(P_i，LF_i)，其中：i表示由粗到细的层次，i＝(1，2，3)；

所述步骤3包括：

步骤3.1：将步骤2获得K_i个激光雷达点P_i通过外参标定矩阵H_i和相机内参矩阵K投影到相机坐标系上，得到K_i个二维点组成的集合I_i，计算公式如下：

其中：H_i是上层学习到的外参标定矩阵，(u，v)是激光点云坐标投影得到的二维点组成的集合I_i的坐标；(X，Y，Z，1)是原始的三维激光点P_i的齐次坐标；Z为原始的三维激光点P_i的Z坐标；

步骤3.2：将步骤3.1获得的K_i个二维点组成的集合I_i作为图像特征RF_i的K_i个中心点坐标进行激光雷达特征对应图像特征提取，得到二维坐标点及其特征(I_i，IF_i)；

步骤3.3：对二维点组成的集合I_i通过相机内参矩阵K反投影到激光雷达坐标系下，得到三维图像点坐标及其特征(P_i，IF_i)，公式如下：

步骤3.4：将激光雷达点云特征LF_i和图像点云特征IF_i拼接在一起，得到激光雷达点云特征和图像特征融合之后的特征RLF_i；

所述步骤3.2包括：

步骤3.2.1：在图像特征RF_i上以二维点组成的集合I_i的K_i个点坐标作为中心点，采用圆查询方法，搜索半径内的所有点分成K_i个组，公式如下：

其中：(x_i，y_i)是中心点的坐标，(u_j，v_j)是除中心点外其他点的坐标，R为预先设定的半径阈值，Ω_i-group是以二维点组成的集合I_i为中心点的图像特征集合；D_ij表示点(x_i，y_i)到点(u_j，v_j)的距离；j表示除中心点外其他点的的标记；

步骤3.2.2：对得到的K_i个组进行特征提取，得到IF_i，即为激光雷达特征对应的图像特征，公式如下：

其中：MLP为利用多层感知机进行特征编码，Ω_j-group表示分组操作的结果；

所述步骤4包括：

步骤4.1：将RLF_i作为网络的输入，通过预测模块进行多层卷积每一层对应外参标定矩阵H_i-1的学习，该预测模块由特征匹配模块和全局回归模块组成，其中特征匹配模块由两个卷积层组成，全局回归模块由两个全连接层组成；

步骤4.2：将RLF₃输入预测模块获得多层卷积第三层对应的外参标定矩阵H₂，利用得到的外参标定矩阵H₂代替初始化外参矩阵H_init进行该层的特征融合，得到融合特征RLF₂，将RLF₂输入预测模块得到多层卷积第二层对应的外参标定矩阵H₁，将外参标定矩阵H₁作为外参标定矩阵进行特征融合，得到融合特征RLF₁，将RLF₁输入预测模块得到多层卷积第一层对应的外参标定矩阵H₀。