[发明专利]一种激光雷达和图像融合的塔吊环境目标检测方法及系统

说明书

本发明提供一种激光雷达和图像融合的塔吊环境目标检测方法及系统，该方法包括构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定，采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框，将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，并对目标点云数据进行聚类、精分割以及筛选，判断目标物与塔吊的距离是否为安全距离，当检测到目标物小于安全距离时输出报警信息。本发明的系统应用于上述的方法。应用本发明在施工工地的塔吊上对目标物进行实时检测，并且实现实时报警，从而能够降低人力消耗，可以有效提高塔吊使用的安全性。

技术领域

本发明涉及建筑施工技术领域，具体涉及一种激光雷达和图像融合的塔吊环境目标检测方法以及应用该方法的塔吊环境目标检测系统。

背景技术

目前，建筑行业发展如火如荼，众多的建筑设备已经被广泛应用，在建筑施工过程中，塔吊作为施工工地中的一种重要的起重设备，主要应用于吊运施工用的钢筋、钢管等材料，其具有起升高度高、作业效率高的特点，因此在施工中有着广泛的使用。由于塔吊起升高度高的特性，在建筑工地这样一个复杂的工作环境中，塔吊施工的安全问题逐渐凸显，为了对工地中进入塔吊臂范围内的目标对象进行及时检测和预警，需要对目标物进行目标检测。而传统的检测方法往往通过人工识别、监测来监测工地中的塔吊施工的安全问题，难以及时保障施工中的生命和财产安全，一种更加便捷、高效的检测方法需要被提出。

近年来，随着人工智能技术的发展，基于单一的传感器的数据处理工作出现了许多目标检测算法，其中最常用传感器是基于相机或者激光雷达，通过相机能够得到丰富的二维视觉信息，但单目相机无法获取环境的深度信息，因此缺乏目标的距离信息，也就很难对目标物实现精确定位，另外，仅凭相机进行视觉成像常常因为受到光线的干扰而成像不稳定。激光雷达能够精确地提供目标物的深度距离信息，其传感方式不受光线以及恶劣天气的影响，数据采集较稳定，但激光雷达得到的只有点云数据，缺乏颜色纹理等视觉信息，因此仅凭雷达数据难以对距离远、点云少的目标物进行精确的识别与检测。由于单一传感方式：相机、激光雷达各有其优缺点，而融合不同传感器获取到的信息，不仅能弥补单一传感器的不足，还可以为系统提供冗余信息。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于激光雷达和图像融合的塔吊环境目标检测方法及系统，该方法和系统可以解决现有技术的不足，通过融合不同传感器获取信息，在施工工地的塔吊上对目标物进行实时检测，并且实现实时报警，从而可以降低人力消耗，能够有效提高塔吊使用的安全性。

为解决上述问题，本发明所采用的技术方案如下：

一种激光雷达和图像融合的塔吊环境目标检测方法，包括以下步骤：构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定；获取塔吊所处周围环境下的三维点云数据和相机图像，采用目标检测网络对获取到的图像信息进行二维图像目标检测并得到二维目标物检测框；基于联合标定模型将三维点云数据投影到二维图像当中，对落入二维目标物检测框中的相应目标点云数据进行提取，并对目标点云数据进行聚类、精分割以及筛选；根据得到的目标类别判断目标物与塔吊的距离是否为安全距离，当检测到目标物小于安全距离时输出报警信息。

进一步的方案是，所述构建相机和激光雷达的联合标定模型，对相机内参数、相机与激光雷达之间的外参数进行标定，包括：提供一棋盘格标定板，分别将棋盘格标定板以多种不同的位置与姿态放置于相机镜头内，对每一张图片提取相对应的图像和激光点云的棋盘格角点坐标信息；其中，对于提取到的标定板图像信息采用ROS系统或MATLAB的自带的标定工具箱计算出相机的内参矩阵K。

更进一步的方案是，对提取到的图像和激光点云的棋盘格角点坐标信息进行计算，得到相机与激光雷达之间的转换参数，表示为公式(1)：

其中，R为旋转矩阵，t为平移向量。