[发明专利]一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

摘要

本发明属于智能无人智慧船舶领域，具体涉及一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法。针对无人艇对水面目标检测识别及定位受距离、目标波动的影响，本发明融合激光雷达和相机对感知范围内的目标进行准确检测识别及定位。首先利用采集到的水面目标图像训练基于神经网络的目标检测识别模型；然后激光雷达使用条件移除滤波器和欧氏聚类得到水面目标在世界坐标系下的位置；最后，设计了相机图片信息和激光雷达点云信息融合方法，使其对不确定性因素具有较高的鲁棒性。本发明能够使无人艇具备对水面目标准确检测识别定位的能力，为无人艇的目标跟踪，路径规划和自主航行提供良好的环境感知，应用前景广阔。

主权项

1.一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于，具体包括如下步骤：步骤1、根据张正友标定法和S0m＝K[R,T]X，对相机和激光雷达进行标定，求取X外参矩阵，其中S0为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量；步骤2、收集图像数据，利用无人艇携带的相机采集视频资料，用标注工具对材料进行标注，生成满足卷积神经网输入数据集的格式；步骤3、将数据集处理输入到卷积神经网络中，经过训练测试，筛选得到准确率最高的最优模型；步骤4、使用直通滤波器将激光雷达采样范围限制在无人艇前方左舷和右舷各45度的范围内；步骤5、使用条件移除滤波器删除输入点云中不满足聚类要求的所有散乱数据点；步骤6、将过滤后的点云数据输入Kd‑Tree中以简化计算；步骤7、使用欧氏聚类分割出目标物体；步骤8、提取物体的特征点，经外参矩阵和相机内参矩阵转换，将三维深度点云数据投影至二维相机图像平面中，进行数据融合操作；步骤9、将准确率最高的训练模型导入无人艇携带的视觉模块中，根据携带的相机实时获取画面，并对画面中目标的种类进行检测和识别，输出置信度和目标位置矩形框的坐标；步骤10、将激光雷达聚类完成的点簇投影到二维相机平面上，计算点簇中心点并设置点簇中心圆，计算每个点簇中心圆与矩形的重叠度；步骤11、根据计算出来的重叠度，进行分类判断，最后输出该目标的实际位置、类别及判断的置信度。