[发明专利]基于单目相机和激光雷达融合的3D目标检测方法及系统

说明书

本发明涉及一种基于单目相机和激光雷达融合的3D目标检测方法及系统，该方法包括：获取单目相机所采集的图像；基于实例分割网络计算所述图像中每一个像素点的实例分割分数；获取激光雷达的3D点云数据；将所述实例分割分数与所述3D点云数据进行融合，得到融合后的3D点云数据；采用点云的深度模型算法对所述融合后的3D点云数据进行3D目标检测，得到被检对象的3D边界框。本发明通过数据融合过程，能够有效克服融合过程中单目相机视角与激光雷达视角不一致的问题，且与现有技术相比融合的效率更高。

技术领域

本发明涉及激光雷达和相机的融合技术领域，特别是涉及一种基于单目相机和激光雷达融合的3D目标检测方法及系统。

背景技术

随着人工智能和大数据领域的快速发展，自动驾驶技术得到了很大的推动，对自动驾驶汽车的环境感知能力也提出了更高的要求。多传感器融合技术可以解决单一传感器存在固有缺陷的问题，提高自动驾驶系统的稳定性和安全性。

图像传感器分辨率高，但是深度估计精度差，稳定性和鲁棒性差；激光雷达分辨率低，但是点云测距精确度非常高，对室外环境的抗干扰能力也强，因此，把激光雷达的稀疏深度数据和致密的图像深度数据相结合可以形成有效的优势互补，也是目前自动驾驶领域传感器融合研究的主流和重点。

但是，目前的图像传感器和激光雷达融合方法无法有效处理不同传感器视角和数据特征的差异问题，融合的效率较低，与使用激光雷达单一传感器的检测方法相比，大大增加了计算成本，但提升的检测效果不够理想。

发明内容

本发明的目的是提供一种基于单目相机和激光雷达融合的3D目标检测方法及系统，以解决图像和激光雷达数据在融合中存在的视角差异和数据特征差异问题，提高检测的效率和精度，进行准确快速的3D目标检测。

为实现上述目的，本发明提供了如下方案：

一种基于单目相机和激光雷达融合的3D目标检测方法，包括：

获取单目相机所采集的图像；

基于实例分割网络计算所述图像中每一个像素点的实例分割分数；

获取激光雷达的3D点云数据；

将所述实例分割分数与所述3D点云数据进行融合，得到融合后的3D点云数据；

采用点云的深度模型算法对所述融合后的3D点云数据进行3D目标检测，得到被检对象的3D边界框。

可选的，所述实例分割网络的输出包括分类分支和掩码分支，所述分类分支用于预测物体的语义类别并得到对应概率值，所述掩码分支用于计算物体的实例掩码。

可选的，所述基于实例分割网络计算所述图像中每一个像素点的实例分割分数，具体包括：

获取所述分类分支的预测概率值；

判断所述预测概率值是否大于第一阈值；

若是，则获取所述预测概率值对应的位置索引；

将所述掩码分支分为X方向和Y方向；

根据所述位置索引、X方向和Y方向计算掩码；

获取所述掩码中大于第二阈值的掩码；

对所述大于第二阈值的掩码进行局部最大搜索，得到掩码最大值；

根据原图尺寸对所述掩码最大值进行尺寸缩放，得到实例分割分数。

可选的，将所述实例分割分数与所述3D点云数据进行融合，得到融合后的3D点云数据，具体包括：

获取单目相机和激光雷达的外参，所述外参包括旋转矩阵和平移矩阵；