[发明专利]单目相机的外参数确定方法、装置、设备及存储介质

权利要求书

1.一种单目相机的外参数确定方法，其特征在于，所述方法包括：

获取单目相机采集的视频图像和与所述单目相机处于同一车辆上的激光雷达采集的深度图像；其中，所述视频图像和所述深度图像是所述单目相机和所述激光雷达针对同一环境采集到的图像；

提取所述视频图像对应的第一特征信息；

将所述深度图像投影到所述视频图像所在的坐标系，得到所述深度图像对应的投影图像；

提取所述投影图像对应的第二特征信息；

对所述第一特征信息与所述第二特征信息进行拼接，得到联合特征信息，并采用所述联合特征信息对所述投影图像进行全局回归，得到所述单目相机的外参数。

2.如权利要求1所述的方法，其特征在于，所述获取单目相机采集的视频图像和与所述单目相机处于同一车辆上的激光雷达采集的深度图像的步骤包括：

获取单目相机采集的原始视频图像和激光雷达采集的点云数据；

将所述点云数据转化稀疏深度图；

将所述原始视频图像归一化以得到所述视频图像；

将所述稀疏深度图归一化，并根据归一化后的所述稀疏深度图生成所述深度图像。

3.如权利要求2所述的方法，其特征在于，所述根据归一化后的所述稀疏深度图生成所述深度图像的步骤包括：

对归一化后的所述稀疏深度图进行最大池化处理，得到半致密深度图；

将所述半致密深度图作为所述深度图像。

4.如权利要求1所述的方法，其特征在于，所述将所述深度图像投影到所述视频图像所在的坐标系，得到所述深度图像对应的投影图像的步骤包括：

采用预设初始标定和所述单目相机的内参数矩阵对所述深度图像进行校准；

将所述深度图像投影到校准后的所述视频图像所在的坐标系，得到所述投影图像。

5.如权利要求1所述的方法，其特征在于，所述对所述第一特征信息与所述第二特征信息进行拼接，得到联合特征信息的步骤包括：

建立所述第一特征信息与所述第二特征信息之间的特征映射；

基于所述特征映射对所述第一特征信息与所述第二特征信息进行拼接，得到所述联合特征信息。

6.如权利要求1所述的方法，其特征在于，所述采用所述联合特征信息对所述投影图像进行全局回归，得到所述单目相机的外参数的步骤包括：

采用预先训练好的神经网络确定所述联合特征信息对应的多个第一预设标定矩阵和各个所述第一预设标定矩阵的第一矩阵得分；

将第一矩阵得分最高的第一预设标定矩阵确定为所述外参数。

7.如权利要求6所述的方法，其特征在于，所述采用所述联合特征信息对所述投影图像进行全局回归，得到所述单目相机的外参数的步骤之后，还包括：

采用所述外参数对所述神经网络的权值参数进行迭代更新；

在迭代次数达到设定次数时，采用所述深度神经网络确定所述联合特征信息对应的多个第二预设标定矩阵和各个所述第二预设标定矩阵的第二矩阵得分；

将第二矩阵得分最高的第二预设标定矩阵确定为所述单目相机的目标外参数。

8.一种单目相机的外参数确定装置，其特征在于，所述单目相机的外参数确定装置包括：

图像获取模块，用于获取单目相机采集的视频图像和与所述单目相机处于同一车辆上的激光雷达采集的深度图像；其中，所述视频图像和所述深度图像是所述单目相机和所述激光雷达针对同一环境采集到的图像；

特征提取模块，用于提取所述视频图像对应的第一特征信息，并将所述深度图像投影到所述视频图像所在的坐标系，得到所述深度图像对应的投影图像；以及将所述深度图像投影到所述视频图像所在的坐标系，得到所述深度图像对应的投影图像，并提取所述投影图像对应的第二特征信息；

信息拼接模块，用于对所述第一特征信息与所述第二特征信息进行拼接，得到联合特征信息；

数据回归模块，用于采用所述联合特征信息对所述投影图像进行全局回归，得到所述单目相机的外参数。