[发明专利]路侧相机与4D毫米波融合的目标检测方法、设备及介质

权利要求书

1.一种路侧相机与4D毫米波融合的目标检测方法，其特征在于，包括以下步骤：

获取路侧相机的第一图像与4D毫米波雷达的第一点云；

将所述第一点云投影到所述第一图像上，在所述第一图像上添加距离信息，获取第二图像；

将所述第二图像作为深度补全卷积网络的输入，获取第三图像，该第三图像为稠密深度图；

将所述第三图像转换为第二点云，并编码生成第四图像；

将所述第四图像输入卷积神经网络进行目标检测，获得目标框；

将所述目标框映射为相机坐标系下的3D框，并基于所述第一点云，在所述3D框上添加速度信息。

2.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法，其特征在于，所述路侧相机和4D毫米波雷达预先进行标定，存储相机雷达标定信息。

3.根据权利要求2所述的路侧相机与4D毫米波融合的目标检测方法，其特征在于，基于所述相机雷达标定信息将所述第一点云投影到所述第一图像上。

4.根据权利要求2所述的路侧相机与4D毫米波融合的目标检测方法，其特征在于，基于所述相机雷达标定信息获得相机标定参数，通过所述相机标定参数将所述第三图像转换为第二点云。

5.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法，其特征在于，所述第二点云通过BEV编码生成第四图像。

6.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法，其特征在于，所述速度信息基于4D毫米波雷达获取的对应目标的多个采集速度拟合获得。

7.根据权利要求6所述的路侧相机与4D毫米波融合的目标检测方法，其特征在于，基于所述多个采集速度通过神经网络拟合获得所述速度信息。

8.根据权利要求1所述的路侧相机与4D毫米波融合的目标检测方法，其特征在于，所述深度补全卷积网络为多视角融合的深度补全卷积网络。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；和

被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述路侧相机与4D毫米波融合的目标检测方法的指令。

10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述路侧相机与4D毫米波融合的目标检测方法的指令。