[发明专利]相机和三维设备的联合标定方法、装置及存储介质

说明书

本申请适用于传感器技术领域，提供了一种相机和三维设备的联合标定方法、装置及存储介质。本申请实施例中基于三维设备和相机获取标定板数据；根据所述标定板数据确定所述相机的第一内参和第一畸变系数；以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。本申请通过同时标定内参、畸变系数以及外参，避免由于内参不准确而导致外参不准确的问题，从而提高相机与三维设备之间参数标定的准确性。

技术领域

本申请属于传感器技术领域，尤其涉及一种相机和三维设备的联合标定方法、装置及存储介质。

背景技术

雷达和相机的组合是自动驾驶设备最常用的环境感知系统之一。雷达可以提供包含准确的深度信息和反射强度信息的3D点云数据，相机捕捉场景中的丰富语义信息。雷达和相机之间的信息融合，能够获得足够的环境信息，且抗天气干扰能力强，因此能够适应现实世界中多种多样的驾驶环境。

信息融合的关键在于对雷达和相机的标定，即确定两个传感器之间的相对位置关系，以将两个传感器采集到的信息变换到统一的时空坐标系。标定的准确性决定了信息融合、环境感知的准确性。传统的标定方法是先标定相机的内参，然后根据标定好的相机的内参标定雷达和相机的之间的外参。然而，由于相机结构的缺陷和非线性函数优化的不确定性，使得标定得到的内参可能是出现不准确的情况，从而导致基于内参标定得到的外参也不准确。

发明内容

本申请实施例提供了一种相机和三维设备的联合标定方法、装置及存储介质，可以提高相机与三维设备之间参数标定的准确性。

第一方面，本申请实施例提供了一种相机和三维设备的联合标定方法，包括：

基于三维设备和相机获取标定板数据；

根据所述标定板数据确定所述相机的第一内参和第一畸变系数；

以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。

其中，三维设备可以是雷达、深度相机等能够采集视野范围内三维坐标信息的传感器。

在一种可能的实现方式中，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。

在一种可能的实现方式中，所述圆心的实际像素坐标的获取方式为：

根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；

根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。

在一种可能的实现方式中，所述非线性优化的约束条件为使得优化目标J_sum最小，其中，J_sum＝λ₁J_board+λ₂J_lidar，λ₁和λ₂表示权重系数，J_board表示所述标定板中所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，J_lidar表示所述标定板中所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐标是根据所述圆心的预测三维坐标、所述第二内参、所述第二畸变系数以及所述外参确定。

在一种可能的实现方式中，λ₁小于λ₂。