[发明专利]一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

权利要求书

1.一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于，具体包括如下步骤：

步骤1、根据张正友标定法和S₀m＝K[R,T]X，对相机和激光雷达进行标定，求取X外参矩阵，其中S₀为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量；

步骤2、收集图像数据，利用无人艇携带的相机采集视频资料，用标注工具对材料进行标注，生成满足卷积神经网输入数据集的格式；

步骤3、将数据集处理输入到卷积神经网络中，经过训练测试，筛选得到准确率最高的最优模型；

步骤4、使用直通滤波器将激光雷达采样范围限制在无人艇前方左舷和右舷各45度的范围内；

步骤5、使用条件移除滤波器删除输入点云中不满足聚类要求的所有散乱数据点；

步骤6、将过滤后的点云数据输入Kd-Tree中以简化计算；Kd-Tree是一种高维索引树形数据结构；

步骤7、使用欧氏聚类分割出目标物体；

步骤8、提取物体的特征点，经外参矩阵和相机内参矩阵转换，将三维深度点云数据投影至二维相机图像平面中，进行数据融合操作；

步骤9、将准确率最高的训练模型导入无人艇携带的视觉模块中，根据携带的相机实时获取画面，并对画面中目标的种类进行检测和识别，输出置信度和目标位置矩形框的坐标；

步骤10、将激光雷达聚类完成的点簇投影到二维相机平面上，计算点簇中心点并设置点簇中心圆，计算每个点簇中心圆与矩形的重叠度；

步骤11、根据计算出来的重叠度，进行分类判断，最后输出该目标的实际位置、类别及判断的置信度。

2.根据权利要求1所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于：步骤2中所述相机对水面图像进行实时采集和视频资料录制，为图像目标检测提供实时的水面图像。

3.根据权利要求1所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于：步骤4中所述激光雷达通过向目标发射探测信号即激光束,然后将接收到的从目标反射回来的信号即目标回波与发射信号进行比较,作适当处理,就可获得水面目标的三维信息，包括目标距离、方位、高度、速度、姿态。

4.根据权利要求1所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于：所述数据集处理具体是用神经网络训练的模型对图片进行目标检测识别，将激光雷达返回的目标回波信息进行滤波和聚合处理，得到水面目标的点云信息，最后将图片目标检测框和点云信息融合，得出融合目标的位置、类别信息。