[发明专利]一种基于三维数据和二维图像的物体检测方法和装置

说明书

本发明公开了一种基于三维数据和二维图像的物体检测方法和装置，检测方法包括以下步骤：获取环境二维图像、三维点云数据；从二维图像中识别物体，获取物体在二维图像中的位置、边界框；将三维图像中的数据映射到二维图像中，获得物体边界框范围内的三维点云数据；过滤边界框内的三维点云数据；计算过滤后的三维点云数据的物理中心，获取识别物体的中心位置的三维坐标，实现对物体三维坐标的精确定位。检测装置包括多个摄像头、三维激光雷达、数据处理中心，摄像头与三维激光雷达的相对位置固定，实现在水平方向摄像头的视觉范围小于等于三维激光雷达的扫描范围。检测装置采用检测方法，实现了识别物体、确定物体三维坐标。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于三维数据和二维图像的物体检测方法和装置。

背景技术

目前，对图像的处理，只是单独对三维图像或二维图像进行处理，而二维图像能够识别物体，但二维图像得到的物体是平面的，无法获得物体的三维信息；三维图像能够获取物体的三维信息，目前，能够获得三维图像信息的包括三维激光雷达，激光雷达的线数与点云数据的稠密度成正比，线数越多，点云数据的稠密度越高，而高线数的三维激光雷达价格昂贵，低线数的三维激光雷达受线数量的限制，距离较远的时候，线与线之间的距离加大，点云会变得稀疏，无法使用常规的聚类分割方法有效提取物体点云，导致数据稀疏，识别物体的成功率和准确率都较低。

因此，如何发挥三维图像与二维图像各自的优势，取长补短，准确识别物体，获得物体的三维坐标，是目前亟待解决的问题。

发明内容

本发明的目的是提供一种基于三维数据和二维图像的物体检测方法和装置，基于二维图像得到平面物体的位置、边界框，根据二维图像与三维图像的坐标原点，将三维点云数据映射到二维图像中，获得物体边界框范围内的三维点云数据，过滤边界框范围内的三维点云数据，经过计算，获得识别物体的中心位置的三维坐标，实现对物体三维坐标的精确定位。

本发明的上述发明目的通过以下技术方案得以实现：

一种基于三维数据和二维图像的物体检测方法，包括以下步骤：

S1、获取环境二维图像、三维点云数据；

S2、从二维图像中识别物体，获取物体在二维图像中的位置、边界框；

S3、将三维图像中的数据映射到二维图像中，获得物体边界框范围内的三维点云数据；

S4、过滤边界框内的三维点云数据；

S5、计算过滤后的三维点云数据的物理中心，获取识别物体的中心位置的三维坐标。

本发明进一步设置为：步骤S2中，采用深度学习方法，对二维图像进行视觉识别，检测到识别物体，绘制物体边界框。

本发明进一步设置为：步骤S3中，根据三维点云数据的坐标原点与二维图像的坐标原点的相对位置关系，将三维点云数据一一对应为二维图像中的像素点，获得物体边界框范围内的三维点云数据。

本发明进一步设置为：步骤S4中，采用至少一次过滤方法，过滤边界框内的三维点云数据。

本发明进一步设置为：步骤S4中，包括以下步骤：

A1、采用设定高度范围或聚类分割法，过滤掉对象边界框范围内属于地面和天花板的三维点云数据点；

A2、缩小边界框，减少边界框内的三维点云数据；

A3、选定中心参考点，计算每个三维点云数据点到中心参考点的中心距离，依据中心距离数值进行聚类分割，将分割好的每一类点云簇中的点映射到二维平面坐标，根据像素坐标值，分别对每个分类结果绘制最小包络矩形；将最小包络矩形与物体检测的边界框进行比较，滤除噪点数据。