[发明专利]一种激光雷达和图像融合的塔吊环境目标检测方法及系统

权利要求书

1.一种激光雷达和图像融合的塔吊环境目标检测方法，其特征在于，包括以下步骤：

构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定；

获取塔吊所处周围环境下的三维点云数据和相机图像，采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框；

基于联合标定模型将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，并对目标点云数据进行聚类、精分割以及筛选；

根据得到的目标类别判断目标物与塔吊的距离是否为安全距离，当检测到目标物小于安全距离时输出报警信息。

2.根据权利要求1所述的方法，其特征在于，所述构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定，包括：

提供一棋盘格标定板，分别将棋盘格标定板以多种不同的位置与姿态放置于相机镜头内，对每一张图片提取相对应的图像和激光点云的棋盘格角点坐标信息；

其中，对于提取到的标定板图像信息采用ROS系统或MATLAB的自带的标定工具箱计算出相机的内参矩阵K。

3.根据权利要求2所述的方法，其特征在于：

对提取到的图像和激光点云的棋盘格角点坐标信息进行计算，得到相机与激光雷达之间的转换参数，表示为公式(1)：

其中，R为旋转矩阵，t为平移向量。

4.根据权利要求1所述的方法，其特征在于，所述获取塔吊所处周围环境下的三维点云数据和相机图像，包括：

采用安装在塔吊上的安防监控球机与激光雷达获取周围施工工地的三维点云数据以及对应的二维图像。

5.根据权利要求1所述的方法，其特征在于，所述采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框，包括：

对获取到的图像进行预处理；

对预处理后的图像数据集进行训练，得到YOLOv5网络的训练模型；

利用训练好的模型对实验图像进行检测，获取目标物的类别信息，以及目标物候选框在图像中的位置信息。

6.根据权利要求3所述的方法，其特征在于，所述基于联合标定模型将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，包括：

基于相机与激光雷达的联合标定结果，根据相机的内参矩阵K、相机与激光雷达之间的旋转矩阵R和平移向量t，将三维点云数据投影到二维图像当中；

根据投影后的三维点云数据在二维图像中的位置提取出落入二维目标物检测框中的相应目标点云数据，其中，该点云数据在3D形式上为一个多面椎体。

7.根据权利要求6所述的方法，其特征在于，所述对目标点云数据进行聚类、精分割以及筛选，包括：

利用欧式聚类算法对目标点云数据的椎体内部目标物进行聚类；

利用目标物体的宽度信息对应到目标点云数据的深度进行聚类点云的精分割；

利用该目标点云数据在二维图像中的尺寸和在二维目标物检测框中的位置进行筛选。

8.根据权利要求7所述的方法，其特征在于，所述利用目标物体的宽度信息对应到目标点云数据的深度进行聚类点云的精分割，包括：

当聚类点云中的某一个点云数据的深度超过设定阈值时，视为点云噪声并舍弃，其余的点云数据则保存，其中，该设定阈值的大小根据目标尺寸而定。

9.根据权利要求7所述的方法，其特征在于，所述利用该目标点云数据在二维图像中的尺寸和在二维目标物检测框中的位置进行筛选，包括：

利用坐标转换公式将经过精分割后的候选目标点云数据转至图像坐标系中，对二维图像中二维目标物检测框中心的小框内的点云投影像素点进行计数，然后对每一个聚类结果的小框内点云投影像素点数进行比较，筛选出像素点数最多的一个聚类结果作为最终的目标物点云，其中，小框的宽高等于检测框宽高的一半。

10.一种激光雷达和图像融合的塔吊环境目标检测系统，其特征在于，该系统应用于如权利要求1至9任一项所述的一种激光雷达和图像融合的塔吊环境目标检测方法进行目标检测，该系统包括：

标定单元，用于构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定；

检测单元，用于获取塔吊所处周围环境下的三维点云数据和相机图像，采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框；

处理单元，用于基于联合标定模型将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，并对目标点云数据进行聚类、精分割以及筛选；

预警单元，用于根据得到的目标类别判断目标物与塔吊的距离是否为安全距离，当检测到目标物小于安全距离时输出报警信息。