[发明专利]数据同步标定方法、装置、可读存储介质及电子设备

说明书

本公开实施例公开了一种数据同步标定方法和装置，其中，该方法包括：获取车辆上的点云采集装置采集的点云帧和图像采集装置采集的图像帧；将点云帧投影到图像帧的图像平面，得到深度图；基于图像帧，生成针对点云帧的采集时间的内插光流图；基于内插光流图和深度图，生成图像帧的采集时刻的预测深度图；将深度图、图像帧、预测深度图和内插光流图输入预先训练的深度图内插网络，得到与图像帧的采集时刻同步的内插深度图；将内插深度图和图像帧输入预先训练的点云预测模型，输出与图像帧的采集时刻同步的预测点云帧，并输出用于统一点云帧和图像帧的坐标的空间标定参数。本公开实施例可以提高多传感器同步标定的灵活性和准确性。

技术领域

本公开涉及计算机技术领域，尤其是一种数据同步标定方法、装置、计算机可读存储介质及电子设备。

背景技术

在多传感器的感知平台，数据级或者任务级(比如检测和跟踪)的融合是关键的技术，这样才能突出多传感器配置的优势。不过，融合的前提必须是时间的同步和空间的坐标统一，前者需要考虑传感器获取数据的时刻必须同步(synchronization)，后者要求事先确定两个不同传感器坐标系的转换关系，即标定(calibration)。

传统的同步方法大多是根据硬件时钟控制数据采集触发(trigger)时间，并计算数据传输过程中的延迟补偿。而经典的传感器标定方法，需要通过事先在精确测量的控制场拍摄数据，然后根据不同传感器之间的数据匹配计算其坐标转换关系。

发明内容

本公开的实施例提供了一种数据同步标定方法、装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种数据同步标定方法，该方法包括：获取车辆上的点云采集装置采集的点云帧和图像采集装置采集的图像帧；将点云帧投影到图像帧的图像平面，得到深度图；基于图像帧，生成针对点云帧的采集时间的内插光流图；基于内插光流图和深度图，生成图像帧的采集时刻的预测深度图；将深度图、图像帧、预测深度图和内插光流图输入预先训练的深度图内插网络，得到与图像帧的采集时刻同步的内插深度图；将内插深度图和图像帧输入预先训练的点云预测模型，输出与图像帧的采集时刻同步的预测点云帧，并输出用于统一点云帧和图像帧的坐标的空间标定参数。

在一些实施例中，在获取车辆上的点云采集装置采集的点云帧和图像采集装置采集的图像帧之前，方法还包括：响应于确定车辆处于静止环境，获取点云采集装置采集的静态点云帧和图像采集装置采集的静态图像帧；将静态点云帧投影到静态图像帧的图像平面，得到静态深度图；将静态深度图和静态图像帧输入点云预测模型，输出静态空间标定参数和静态预测点云帧。

在一些实施例中，将点云帧投影到图像帧的图像平面，得到深度图，包括：响应于确定当前进行数据同步的次数为第一次，基于静态空间标定参数，将点云帧投影到图像帧的图像平面，得到深度图。

在一些实施例中，将点云帧投影到图像帧的图像平面，得到深度图，还包括：响应于确定当前进行数据同步的次数不是第一次，基于点云预测模型最近一次输出的空间标定参数，将点云帧投影到图像帧的图像平面，得到深度图。

在一些实施例中，点云预测模型包括编码器、姿态网络和深度图逆投影模块；以及将内插深度图和图像帧输入预先训练的点云预测模型，输出与图像帧的采集时刻同步的预测点云帧，并输出用于统一点云帧和图像帧的坐标的空间标定参数，包括：将内插深度图和图像帧输入编码器，得到深度图特征和图像帧特征；将深度图特征和图像特征合并，得到合并后特征；将合并后特征输入姿态网络，得到空间标定参数；基于空间标定参数，通过深度图逆投影模块对内插深度图进行逆投影，得到预测点云帧。

在一些实施例中，基于内插光流图和深度图，生成图像帧的采集时刻的预测深度图，包括：基于内插光流图和深度图，通过运动变形生成内插光流图的插入时刻的预测深度图。