[发明专利]一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

说明书

本发明属于智能无人智慧船舶领域，具体涉及一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法。针对无人艇对水面目标检测识别及定位受距离、目标波动的影响，本发明融合激光雷达和相机对感知范围内的目标进行准确检测识别及定位。首先利用采集到的水面目标图像训练基于神经网络的目标检测识别模型；然后激光雷达使用条件移除滤波器和欧氏聚类得到水面目标在世界坐标系下的位置；最后，设计了相机图片信息和激光雷达点云信息融合方法，使其对不确定性因素具有较高的鲁棒性。本发明能够使无人艇具备对水面目标准确检测识别定位的能力，为无人艇的目标跟踪，路径规划和自主航行提供良好的环境感知，应用前景广阔。

技术领域

本发明属于智能无人智慧船舶领域，具体涉及一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法。

背景技术

无人艇是在水面航行的智能化平台，由于无人艇所处的水面环境十分复杂，所以无人艇对周围环境信息的感知十分重要。因此，如何提高无人艇环境感知的能力是现在研究热点，在己有的文献中，许多学者通过视觉感知、雷达感知及多传感器感知信息融合等方法对无人艇的环境感知进行了研究。但是这些方法都有一定的局限性，对环境的自适应性较低。

华中科技大学工业技术研究院马杰等将激光雷达扫描到的三维目标点云和非目标点云进行降维处理，投影到二维XY栅格平面；随后进行聚类处理，提取每个目标位置信息，得到目标样本集，训练识别函数对水面物体进行识别。缺点是数据集采集困难，实时性不强。且无法识别形状相似的物体，识别精度无法保证。

东南大学庞成利用毫米波雷达和视觉数据融合进行平直公路前方车辆检测，采用生命周期算法进行有效目标决策，在实验中成功检测到前方最近车辆信息。但是只针对危险目标的单目标检测算法不利于获取完整的周边环境信息。

吉林大学曲昭伟等使用SICK LMS211-S14激光雷达与CCD摄像机进行数据融合，结合单线雷达下行人的物理属性与摄像机图像梯度方向直方图特征进行实时行人检测，得到较准确的实验结果。但是基于行人腿部单线点云特征的算法精度太低，容易出现漏检、误检等错误。

北京理工大学王宝峰等根据雷达信息确定图像坐标系中车辆感兴趣区域，随后根据对称性分析，逆透视变换验证识别结果，具有较强的环境适应性和准确率。但是其根据速度与相对位置关系处理雷达数据的算法无法检测静止车辆等物体，且其融合算法在前方有多个物体时计算精度较差。

发明内容

本发明的目的在于提供一种用于无人艇在水面航行时对周围目标信息感知的单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法。

一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，具体包括如下步骤：

步骤1、根据张正友标定法和S₀m＝K[R,T]X，对相机和激光雷达进行标定，求取X外参矩阵，其中S₀为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量；

步骤2、收集图像数据，利用无人艇携带的相机采集视频资料，用标注工具对材料进行标注，生成满足卷积神经网输入数据集的格式；

步骤3、将数据集处理输入到卷积神经网络中，经过训练测试，筛选得到准确率最高的最优模型；

步骤4、使用直通滤波器将激光雷达采样范围限制在无人艇前方左舷和右舷各45度的范围内；

步骤5、使用条件移除滤波器删除输入点云中不满足聚类要求的所有散乱数据点；

步骤6、将过滤后的点云数据输入Kd-Tree中以简化计算；

步骤7、使用欧氏聚类分割出目标物体；

步骤8、提取物体的特征点，经外参矩阵和相机内参矩阵转换，将三维深度点云数据投影至二维相机图像平面中，进行数据融合操作；