[发明专利]基于深度学习的雷达辅助相机标定方法

说明书

本发明公开了一种基于深度学习的雷达辅助相机标定方法，解决了从雷达点迹到图像目标框转换的技术问题。实现步骤：数据采集形成雷达点迹和图像目标框数据；采集时间对齐；雷达点迹数据形成训练输入数据集；转换后的图像目标框数据形成训练输出数据集；构建并训练深度神经网络模型；获得相机标定函数。本发明利用含有跨层链接的深度神经网络模型将雷达点迹数据转换为图像目标框数据构成标定函数，减小了人为误差和标定过程的额外工作，提高了相机标定的灵活性和效率；计算量小，标定准确率高。用于多传感器融合目标检测，更具体地用在雷达和相机摄像头同时进行目标检测的情况下的相机标定。

技术领域

本发明属于多传感器数据融合技术领域，主要涉及雷达点迹数据与图像目标位置信息的转换，具体是一种基于深度学习的雷达辅助相机标定方法，可用于雷达与相机摄像头同时存在时的相机标定任务。

背景技术

随着自动驾驶、无人监测等新技术的迅速发展，由于单一传感器自身不可避免的局限性的存在，利用单一传感器进行目标检测的准确性、稳定性能性能较低。因此为了提高目标检测的准确性、稳定性，工业领域多采取多传感器融合的方案。相机摄像头和雷达是目前主要的测距传感器元件，相机摄像头价格低廉，并能够快速捕捉环境信息并进行数字图像处理完成目标检测，但对于远距离的小目标检测能力较差；雷达能够准确捕获物体在三维空间的位置信息，测量速度快并且具备远距离测量的能力，但容易产生虚警，因而相机摄像头与雷达被广泛应用于多传感器数据融合中。在这种相机摄像头和雷达共用的方案中，相机标定在保障其自动化、智能化、高效化的领域内发挥着越来越重要的作用。

由于相机和雷达的安装位置不同，其坐标系具有空间差异，因而需要对相机和雷达进行空间标定，相机标定是将三维世界中的目标位置转换为图像中对应的目标位置的过程，是传感器数据融合的前提。为了保障自动驾驶、无人检测中的智能化目标检测的功能，精准可靠的相机标定已经成为不可或缺的环节。

传统的相机标定法需要在特定辅助标定板和标定设备的配合下，通过建立标定物上坐标已知的点与其图像目标点之间的对应关系，获得相机模型的内外参数，例如《二维激光雷达与可见光相机外参标定方法研究》通过利用两种传感器在不同位姿下的测量数据，利用拟合参数的方式求取摄像机摄像头的外部参数；《基于视觉标记板的自动驾驶车辆激光雷达与相机在线标定研究》利用经典的定向求解方法计算得到相机与激光雷达之间的刚性转换关系，在两种传感器中获取的摄像机的外部参数，与张正友标定法、伪逆法、最小二乘拟合法等类似，这些传统的相机标定方法均需建立复杂且专有的数学模型，并通过繁琐的计算完成。

在基于深度学习的相机标定方法中，例如《一种毫米波雷达与相机的自动标定方法》利用深度学习的方法将毫米波雷达点迹与图像目标点坐标进行标定，减小了标定工作量，将相机内参标定与传感器外参标定结合于一体，但其深度神经网络的参数量和计算量较大；《一种基于深度学习的相机标定方法及系统与流程》中，解决了现有视觉测量系统中相机位置及姿态必须保持不变的问题，避免相关数学模型、物理变量的繁杂计算和对专有固定的辅助结构的依赖，但其仍具有较为复杂的流程和较大的计算量。

在工业应用中，与传统的相机标定方法相比，基于深度学习的相机标定方法虽然解决了传统的相机标定的复杂数学模型和繁杂计算，但仍有较大参数量和计算量，不利于工业应用，并且传统的相机标定方法和基于深度学习的相机标定方法只能将雷达点迹数据转换为图像中的目标点，然而在图像目标检测过程中，目标在图像中均以目标框的形式出现，仅将雷达点迹数据转换为图像中的目标点会出现若干雷达点迹数据对应同一个图像目标框的情况，因而导致系统的准确性较差。

在现有相机标定技术中，大多需要复杂的数学模型和繁杂计算，仅只能对相机内部参数或相机外部参数其中一个参数进行标定，模型的灵活性和泛化能力较低。在相机标定过程中，均为雷达点迹到图像目标点的转换，没有将雷达点迹转换到图像目标框信息，多传感器融合任务的精度较低，不便于后续的雷达与相机摄像头的数据关联任务和多传感器融合目标检测任务。

发明内容