[发明专利]一种3D物体快速检测方法、装置、设备及介质

权利要求书

1.一种3D物体快速检测方法，其特征在于，包括：

获取左右视图以及相机标定参数；其中，所述左右视图通过双目相机获取得到，所述相机标定参数用于表征所述双目相机设定的参数；

通过神经网络框架对数据库图片以及真实距离深度图进行处理，训练得到二值神经网络模型；其中，所述真实距离深度图通过激光雷达获取得到；

对所述二值神经网络模型添加空间约束项，具体地：

在所述二值神经网络模型的训练集中，任意选取多组包含有三个点的点集；

所述点集满足以下条件：

其中，表示P_A与P_B连线和P_A与P_C连线的角度，表示P_m和P_k两点欧式距离，P_A、P_B、P_C分别为所述点集中的三个点；

根据所述点集，通过每一组所述点集中的三个点建立空间平面；

根据所述空间平面，确定所述空间约束项并添加到所述二值神经网络模型；所述空间约束项为：

其中，loss为空间约束项，N为点集个数，为使用真实视差图计算获得的空间平面，为使用网络预测视差图计算获得的空间平面，|| ||_l1表示1范数运算，i表示正整数；

根据所述二值神经网络模型，结合二值数据通道打包技术以及网络计算层流技术，确定二值神经网络；

将所述左右视图输入到所述二值神经网络中，对所述左右视图进行特征提取，确定视差图；

根据所述视差图以及所述相机标定参数构建点云数据坐标点，确定视觉雷达信号；其中，所述视觉雷达信号用于表征构建得到的点云数据；

对所述视觉雷达信号进行投影获得三通道特征图，并将所述三通道特征图输入到神经网络中，确定预测结果；

对所述预测结果进行遮挡物检测，确定目标预测结果；

所述将所述左右视图输入到所述二值神经网络中，对所述左右视图进行特征提取，确定视差图，包括：

将所述左右视图输入到所述二值神经网络中，对所述左右视图进行特征提取，确定图像特征；

根据所述图像特征，结合视差预测算法，确定初始图像；

其中，视差预测Cost_des算法为：

式中，Cost为经过网络计算中视差的代价，Cost⁺是后一项视差的代价，Cost^-是前一项视差的代价；

对所述初始图像进行高斯滤波处理，确定所述视差图。

2.根据权利要求1所述的一种3D物体快速检测方法，其特征在于，所述根据所述二值神经网络模型，结合二值数据通道打包技术以及网络计算层流技术，确定二值神经网络，包括：

根据所述二值数据通道打包技术，使用通道维度将所述二值神经网络模型中的二值数据进行压缩，确定初始二值神经网络；

根据所述网络计算层流技术，将所述初始二值神经网络中的神经网络操作进行合并，确定所述二值神经网络；其中，所述神经网络操作包括卷积操作、批归一化操作以及数据二值化操作。

3.根据权利要求1所述的一种3D物体快速检测方法，其特征在于，所述根据所述视差图以及所述相机标定参数构建点云数据坐标点，确定视觉雷达信号，包括：

根据所述视差图以及所述相机标定参数，计算所述视差图的坐标点深度值；

初始化点云数据，将所述坐标点深度值存储到所述点云数据中，确定第一点云数据；

根据所述坐标点深度值以及所述相机标定参数对所述第一点云数据的坐标点进行计算，确定第二点云数据；

将所述左右视图转换成灰度图，并合并到所述第二点云数据中，确定所述视觉雷达信号。