[发明专利]激光雷达与相机标定状态检测方法、校正方法、装置及存储介质

说明书

本发明公开了一种激光雷达与相机标定状态检测方法、校正方法、装置及存储介质，其中激光雷达与相机标定状态检测方法包括：在标定位置获取不同位姿下同步的激光雷达点云和相机无畸变图像，作为参考数据；当需要判断传感器标定状态时，在标定位置采集一帧同步的激光雷达点云和相机无畸变图像，作为观测数据。估计参考数据到观测数据的变换矩阵，根据其旋转分量偏差，判断标定状态。当确认传感器位姿已发生改变时，估计参考图像到观测图像的变换矩阵，完成外参校正。所提出的激光雷达与相机标定状态自动检测与校正方法无需布置标定环境，能够自动检测当前传感器状态是否需要重新标定，适用于车辆运行现场标定，标定结果精确且鲁棒。

技术领域

本申请涉及智能驾驶环境感知领域，特别涉及一种激光雷达与相机标定状态自动检测与校正方法。

背景技术

智能驾驶车辆通过融合激光雷达和相机信息以全面地感知交通环境，两传感器间的精确外参标定是融合感知的前提。为了保持外参的精度，需要在每次驾驶任务之前重新标定传感器外参，如KITTI数据集采集车每次采集任务之前都重新标定各传感器间的外参，这是因为车辆运行过程中难免因为车身振动导致传感器位姿变化，为消除累积误差需要重新标定。对于激光雷达和相机的外参标定，绝大部分工作都是基于特制标定板展开，依赖人工提取两个模态数据中的共同特征，精度受标定人员标定经验影响较大；且需要布置标定环境，费时费力，标定地点固定，不适用于在车辆运行现场的标定场景。为此，中国发明专利ZL 202110225959.5《相机与激光雷达重标定方法、装置及计算机可读存储介质》以及论文《基于传感器融合里程计的相机与激光雷达自动重标定方法》公开了一种不使用标定板的激光雷达和相机自动标定方法，这种方法通过融合激光雷达和相机的位置变换信息实现传感器漂移后的外参重新标定，能够解决车辆运行现场的自动标定问题。但是，该方法只专注于传感器外参的标定，对传感器是否发生相对位姿变化，即标定状态是否发生了变化，无法进行自动地判断。此外，该方法假设只出现旋转方向上的相对位姿变化，忽略了平移方向上的位移。

总之，现有技术存在的问题是：基于标定板的方法需要布置标定环境，依赖人工经验，不适用于车辆运行现场标定；自动标定方法虽然能够应用在现场标定场景，但是缺乏对传感器标定状态，即是否发生相对位姿变化的自动判断机制。

发明内容

本发明所要解决的技术问题是提供一种简单快捷，能够精确判断传感器标定判断的激光雷达与相机标定状态检测方法、校正方法、装置及存储介质，用于解决智能驾驶车辆的激光雷达和相机的标定状态检测与外参自动校正问题。该方法无需布置标定环境，不依赖人工，能够自动检测当前传感器状态是否需要重新标定，适用于车辆运行现场标定。

为解决上述技术问题，本发明采用的技术方案如下：

本发明首先提供一种激光雷达与相机标定状态检测方法，其特征在于，包括：

多位姿参考数据获取：选择任一地点作为标定位置，在标定位置获取N个位姿的参考数据，每个位姿的参考数据为同步的激光雷达点云P_r,i和相机无畸变图像I_r,i一帧，i＝1,2,...,N；

传感器标定状态判断：当需要判断传感器当前标定状态时，将车辆驾驶至标定位置；在标定位置采集一帧同步的激光雷达点云P_o和相机无畸变图像I_o，作为观测数据；分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵，求解每组变换矩阵的旋转分量偏差，根据旋转分量偏差判断当前的标定状态。

本发明还提供一种激光雷达与相机标定状态校正方法，包括：

根据激光雷达与相机标定状态检测方法，检测激光雷达与相机标定状态的标定状态；

对检测为需标定状态的当前状态，进行外参校正，包括：