[发明专利]一种基于三维数据和二维图像的物体检测方法和装置

权利要求书

1.一种基于三维数据和二维图像的物体检测方法，其特征在于：包括以下步骤：

S1、获取环境二维图像、三维点云数据；

S2、从二维图像中识别物体，获取物体在二维图像中的位置、边界框；

S3、将三维图像中的数据映射到二维图像中，获得物体边界框范围内的三维点云数据；

S4、过滤边界框内的三维点云数据，以滤除噪点，获取只属于识别对象的数据点；

S5、计算过滤后的三维点云数据的物理中心，获取识别物体的中心位置的三维坐标。

2.根据权利要求1所述物体检测方法，其特征在于：步骤S2中，采用深度学习方法，对二维图像进行视觉识别，检测到识别物体，绘制物体边界框。

3.根据权利要求1所述物体检测方法，其特征在于：步骤S3中，根据三维点云数据的坐标原点与二维图像的坐标原点的相对位置关系，将三维点云数据一一对应为二维图像中的像素点，获得物体边界框范围内的三维点云数据。

4.根据权利要求1所述物体检测方法，其特征在于：步骤S4中，采用至少一种过滤方法，过滤边界框内的三维点云数据。

5.根据权利要求1所述物体检测方法，其特征在于：步骤S4中，包括以下步骤：

A1、采用设定高度范围或聚类分割法，过滤掉对象边界框范围内属于地面和天花板的三维点云数据点；

A2、缩小边界框，减少边界框内的三维点云数据；

A3、选定中心参考点，计算每个三维点云数据点到中心参考点的中心距离，依据中心距离数值进行聚类分割，将分割好的每一类点云簇中的点映射到二维平面坐标，根据像素坐标值，分别对每个分类结果绘制最小包络矩形；将最小包络矩形与物体检测的边界框进行比较，滤除噪点数据。

6.根据权利要求1所述物体检测方法，其特征在于：步骤A2中，设定边界框缩放值，对边界框进行缩小，删除变换后处于缩小后的边界框外的三维点云数据，减少非识别物体数据的比例。

7.根据权利要求1所述物体检测方法，其特征在于：步骤S5中，对过滤后的三维点云数据，分别求取点云数据点的三维坐标值的平均值；获取物体中心的三维坐标、物体的三维坐标信息。

8.根据权利要求1所述物体检测方法，其特征在于：包括至少一组环境二维图像，根据三维数据与各组二维图像的位置关系，分别进行三维点云数据映射到二维图像坐标的变换，对每组二维图像，过滤超出二维图像对应的视觉范围的点，将所有二维图像结合，从而将所有三维点云数据点全部映射到二维图像坐标中。

9.一种三维数据和二维图像的物体检测装置，其特征在于：包括至少一个摄像头、三维激光雷达、数据处理中心，三维激光雷达水平设置，摄像头与三维激光雷达的相对位置固定，确保二维数据与三维数据能够实现坐标互相变换，摄像头的水平拍摄范围小于等于三维激光雷达的扫描范围；当摄像头数量多于二个时，所有摄像头沿三维激光雷达的垂直轴线环形设置，所有摄像头高度相同，朝向互补，确保所有摄像头的水平拍摄范围结合后的范围小于等于三维激光雷达的扫描范围；三维激光雷达产生至少二条激光线，采集每条激光线的点云数据，数据处理中心获取摄像头拍摄的二维图像、三维激光雷达拍摄的三维点云数据，采用基于三维激光雷达和视觉的物体检测方法，获取被摄对象的三维坐标。

10.根据权利要求9所述物体检测装置，其特征在于：数据处理中心包括存储器与处理器，所述存储器存储有能够被处理器加载并执行如权利要求1-8任一项所述方法的计算机程序。