[发明专利]一种3D物体快速检测方法、装置、设备及介质

说明书

本发明公开了一种3D物体快速检测方法、装置、设备及介质，方法包括：获取左右视图以及相机标定参数；通过神经网络框架对数据库图片以及真实距离深度图进行处理，训练得到二值神经网络模型；根据二值神经网络模型，结合二值数据通道打包技术以及网络计算层流技术，确定二值神经网络；将左右视图输入到二值神经网络中，对左右视图进行特征提取，确定视差图；根据视差图，结合相机标定参数构建点云数据坐标点，确定视觉雷达信号；对视觉雷达信号进行离散化处理，并输入到基于深度残差和特征金字塔的网络中，确定预测结果。本发明降低了三维物体检测的成本，提高了检测的速度以及准确度，能够广泛应用于三维物体检测技术领域。

技术领域

本发明涉及三维物体检测技术领域，尤其是一种3D物体快速检测方法、装置、设备及介质。

背景技术

近年来，随着自动驾驶技术的发展，激光雷达的地位也变得越来越重要。激光雷达的优点在于可以直接测量包含物体的距离，能够开发自动驾驶的目标检测算法，并在三维目标检测中准确地估计不同目标的位置和前进方向。

现如今，通过对激光雷达产生的点云信号数据进行处理，从而获得周围物体的几何坐标和位置坐标的技术已经十分成熟。比如Frustum PointNets等。它在KITTI数据集的测试上表现出非常高的正确率。然而，在对点云数据进行处理之前，它还需要对经过校准的摄像机图像进行预处理。

可以看出来这样的设计有以下缺点：模型的准确率很大程度上取决于相机图像和相关的卷积神经网络；整个流程经过的神经网络较多，模型比较复杂，这会导致延迟过高、效率较低。

现有的三维检测技术大多是依赖激光雷达的，但激光雷达硬件成本高昂。举个例子，美国velodyne公司的HDL-64E激光雷达在国内的售价高达五十万元以上。另外，激光雷达获得的点云数据比较稀疏，这会导致外观比较复杂的目标，或者是一些小物体无法在点云中得以体现。况且，激光雷达仅仅可以提供稀疏的测量点，无法提供图像、颜色信息，难以在其基础上进行进一步的任务拓展。此外，现有的三维检测网络都比较慢，且对硬件存储，计算，以及能源消耗都有较高的要求。三维检测网络的计算量要求也同样很高，难以部署到实际应用中，因此无法满足实时性的要求。

发明内容

有鉴于此，本发明实施例提供一种3D物体快速检测方法、装置、设备及介质，以实现降低三维检测技术的使用成本，提高三维检测网络的实时性。

一方面，本发明提供了一种3D物体快速检测方法，包括：

获取左右视图以及相机标定参数；其中，所述左右视图通过双目相机获取得到，所述相机标记参数用于表征所述双目相机设定的参数；

通过神经网络框架对数据库图片以及真实距离深度图进行处理，训练得到二值神经网络模型；其中，所述真实距离深度图通过激光雷达获取得到；

根据所述二值神经网络模型，结合二值数据通道打包技术以及网络计算层流技术，确定二值神经网络；

将所述左右视图输入到所述二值神经网络中，对所述左右视图进行特征提取，确定视差图；

根据所述视差图以及所述相机标定参数构建点云数据坐标点，确定视觉雷达信号；其中，所述视觉雷达信号用于表征构建得到的点云数据；

对所述视觉雷达信号进行投影获得三通道特征图，并将所述三通道特征图输入到神经网络中，确定预测结果；

对所述预测结果进行遮挡物检测，确定目标预测结果。

优选地，对所述二值神经网络模型添加空间约束项，包括：

在所述二值神经网络模型的训练集中，任意选取多组包含有三个点的点集；

所述点集满足以下条件：