[发明专利]路侧相机与4D毫米波融合的目标检测方法、设备及介质

说明书

本发明涉及一种路侧相机与4D毫米波融合的目标检测方法、设备及介质，所述目标检测方法包括以下步骤：获取路侧相机的第一图像与4D毫米波雷达的第一点云；将所述第一点云投影到所述第一图像上，在所述第一图像上添加距离信息，获取第二图像；将所述第二图像作为深度补全卷积网络的输入，获取第三图像，该第三图像为稠密深度图；将所述第三图像转换为第二点云，并编码生成第四图像；将所述第四图像输入卷积神经网络进行目标检测，获得目标框；将所述目标框映射为相机坐标系下的3D框，并基于所述第一点云，在所述3D框上添加速度信息。与现有技术相比，本发明具有感知距离远、目标定位准确等优点。

技术领域

本发明涉及智能车联网技术领域，尤其是涉及一种路侧相机与4D毫米波融合的目标检测方法、设备及介质。

背景技术

目前，自动驾驶与路侧感知以基于激光雷达的3D检测算法为主。根据激光雷达的特点，常用的目标检测方法可分为基于BEV、基于camera view、基于point-wise feature、基于融合特征四类。激光雷达具有不受光照影响的特点，此外该技术也能够直接获得准确三维信息。

但激光雷达还存在以下不足：

(1)激光雷达成本较高，一定程度上阻碍了市场的大规模应用。

(2)激光雷达易受天气影响。激光一般在晴朗的天气里衰减较小，传播距离较远。而在大雨、浓烟、浓雾等坏天气里，衰减急剧加大，传播距离大受影响，而且，大气环流还会使激光光束发生畸变、抖动，直接影响激光雷达的测量精度。因此在雨天、雾天、雪天、扬尘大等情况下激光雷达原始数据会被干扰，同时影响检测算法，造成无法准确定位目标物体。

因此，有必要研发一种新的检测方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种感知距离远、目标定位准确的路侧相机与4D毫米波融合的目标检测方法、设备及介质。

本发明的目的可以通过以下技术方案来实现：

第一方面，本发明提供一种路侧相机与4D毫米波融合的目标检测方法，包括以下步骤：

获取路侧相机的第一图像与4D毫米波雷达的第一点云；

将所述第一点云投影到所述第一图像上，在所述第一图像上添加距离信息，获取第二图像；

将所述第二图像作为深度补全卷积网络的输入，获取第三图像，该第三图像为稠密深度图；

将所述第三图像转换为第二点云，并编码生成第四图像；

将所述第四图像输入卷积神经网络进行目标检测，获得目标框；

将所述目标框映射为相机坐标系下的3D框，并基于所述第一点云，在所述3D框上添加速度信息。

进一步地，所述路侧相机和4D毫米波雷达预先进行标定，存储相机雷达标定信息。

进一步地，基于所述相机雷达标定信息将所述第一点云投影到所述第一图像上。

进一步地，基于所述相机雷达标定信息获得相机标定参数，通过所述相机标定参数将所述第三图像转换为第二点云。

进一步地，所述第二点云通过BEV编码生成第四图像。

进一步地，所述速度信息基于4D毫米波雷达获取的对应目标的多个采集速度拟合获得。

进一步地，基于所述多个采集速度通过神经网络拟合获得所述速度信息。

进一步地，所述深度补全卷积网络为多视角融合的深度补全卷积网络。

第二方面，本发明提供一种电子设备，包括：

一个或多个处理器；