[发明专利]数据同步标定方法、装置、可读存储介质及电子设备

权利要求书

1.一种数据同步标定方法，包括：

获取车辆上的点云采集装置采集的点云帧和图像采集装置采集的图像帧；

将所述点云帧投影到所述图像帧的图像平面，得到深度图；

基于所述图像帧，生成针对所述点云帧的采集时间的内插光流图；

基于所述内插光流图和所述深度图，生成所述图像帧的采集时刻的预测深度图；

将所述深度图、所述图像帧、所述预测深度图和所述内插光流图输入预先训练的深度图内插网络，得到与所述图像帧的采集时刻同步的内插深度图；

将所述内插深度图和所述图像帧输入预先训练的点云预测模型，输出与所述图像帧的采集时刻同步的预测点云帧，并输出用于统一所述点云帧和所述图像帧的坐标的空间标定参数；

其中，所述基于所述内插光流图和所述深度图，生成所述图像帧的采集时刻的预测深度图，包括：基于所述内插光流图和所述深度图，通过运动变形生成所述内插光流图的插入时刻的预测深度图；或者，将所述内插光流图和所述深度图输入神经网络中，经所述神经网络输出所述图像帧的采集时刻的预测深度图；

其中，基于所述内插光流图和所述深度图，通过运动变形生成所述内插光流图的插入时刻的预测深度图，包括：

L^_t＝(1-V_s-t)·g(M_s-t,L_s)+V_s-t·g(M_s+1-t,L_s+1)

L^_t+1＝(1-V_s-t+1)·g(M_s-t+1,L_s)+V_s-t+1·g(M_s+1-t+1,L_s+1)/2

其中，L^_t、L^_t+1分别为t时刻和t+1的预测深度图，L_s为s时刻的深度图，L_s+1为s+1时刻的深度图，M为内插光流图，V为光流计算的遮挡函数，g(M，L)是基于光流M的L变形函数；

其中，所述深度图内插网络包括粗深度图内插网络和细化深度图内插网络；以及所述将所述深度图、所述图像帧、所述预测深度图和所述内插光流图输入预先训练的深度图内插网络，得到与所述图像帧的采集时刻同步的内插深度图，包括：

将所述深度图、所述预测深度图和所述内插光流图输入所述粗深度图内插网络，得到与所述图像帧的采集时刻同步的低分辨率的内插深度图；

将所述低分辨率的内插深度图和与粗内插深度图的插入时刻对应的图像帧输入所述细化深度图内插网络，得到高分辨率的内插深度图；

其中，所述点云预测模型包括编码器、姿态网络和深度图逆投影模块；以及所述将所述内插深度图和所述图像帧输入预先训练的点云预测模型，输出与所述图像帧的采集时刻同步的预测点云帧，并输出用于统一所述点云帧和所述图像帧的坐标的空间标定参数，包括：

将所述内插深度图和所述图像帧输入所述编码器，得到深度图特征和图像帧特征；

将所述深度图特征和所述图像特征合并，得到合并后特征；

将所述合并后特征输入所述姿态网络，得到空间标定参数；

基于所述空间标定参数，通过所述深度图逆投影模块对所述内插深度图进行逆投影，得到预测点云帧。

2.根据权利要求1所述的方法，其中，在所述获取车辆上的点云采集装置采集的点云帧和图像采集装置采集的图像帧之前，所述方法还包括：

响应于确定所述车辆处于静止环境，获取所述点云采集装置采集的静态点云帧和所述图像采集装置采集的静态图像帧；

将所述静态点云帧投影到所述静态图像帧的图像平面，得到静态深度图；

将所述静态深度图和所述静态图像帧输入所述点云预测模型，输出静态空间标定参数和静态预测点云帧。

3.根据权利要求2所述的方法，其中，所述将所述点云帧投影到所述图像帧的图像平面，得到深度图，包括：

响应于确定当前进行数据同步的次数为第一次，基于所述静态空间标定参数，将所述点云帧投影到所述图像帧的图像平面，得到深度图。