[发明专利]一种基于时空信息融合的水面漂浮物目标检测与跟踪方法

说明书

一种基于时空信息融合的水面漂浮物目标检测与跟踪方法。首先，获得不同时间、地点、季节和天气状况的水面漂浮物视频数据集。其次，在单帧检测中输入视频数据，通过改进的SSD检测算法获取当前帧的水面漂浮物目标检测框。再次，在多帧滤波中将视频第一帧的目标检测框作为改进KCF跟踪算法的输入进行目标跟踪，获得当前视频帧下的水面漂浮物目标跟踪框。最后，在完成视频帧中固定帧数的跟踪后，在下一帧视频帧中再次引入SSD检测算法获得漂浮物目标的新检测框，采取候选框选择策略比较新检测框和旧跟踪框的重合度进行跟踪判断。若重合度满足条件，则继续跟踪当前漂浮物目标；若重合度不满足条件，则将漂浮物目标视为新目标并输出，参与KCF跟踪算法的初始化跟踪新目标。本发明通过时空融合策略判断检测和跟踪信息是否属于新的漂浮物目标，降低目标物体的误检率和漏检率，提升漂浮物检测与跟踪的精度。

技术领域

本发明属于机器学习、目标检测跟踪领域，涉及一种基于时空信息融合的水面漂浮物目标检测与跟踪方法。

背景技术

漂浮物作为河湖污染的重要来源，严重破坏水面景观和生态环境，通过摄像头实施河湖可视化监管以改善河湖面貌。目前漂浮物的检测与跟踪技术受到漂浮物采样困难、形态变化、环境多变以及频繁遮挡等问题的影响，尤其是水波扰动、动态光影和强光反射等诸多噪声问题导致现有方法难以满足水面漂浮物实际管理需求。因此，寻找一种高效、快捷的水面漂浮物检测与跟踪方法是水污染治理亟需解决的问题之一。

目前，水面漂浮物检测技术主要围绕传统图像处理和基于深度学习方法两个方面展开，传统的图像处理是以图像的前景和背景特征以及滤波理论进行识别，特点是检测速度快，但是误检和漏检率较高，无法达到鲁棒性要求。随着人工智能和深度学习技术的快速发展，通过多层卷机神经网络提取漂浮物目标特征信息和模型训练，实现了复杂水面环境下的目标检测。其中SSD模型以其自身的精度和速度的优势，成为当前应用于水面漂浮物目标检测识别的主流方法，但是当漂浮物目标尺度较小、缓慢运动以及背景复杂度发生较大变化时，检测误差率不断上升，同时算法需要高功耗实验设备的支持，难以移植到嵌入式设备中。目前水面漂浮物目标检测技术多是单帧检测，尚未充分利用视频帧与帧之间的时间相关性和漂浮物目标运动状态信息，在对视频进行处理时易造成目标漏检等问题。

相较于目标检测，目标跟踪在实时性方面要求更为严格。漂浮物跟踪技术主要分为传统目标跟踪方法、深度学习算法和核相关滤波。传统目标跟踪技术中的粒子滤波器、卡尔曼滤波器、光流算法以及智能粒子滤波器等在跟踪背景复杂时性能显著下降。基于深度学习的目标跟踪算法采用多层卷积神经网络提取目标的特征，取代了跟踪算法框架中使用的原始手动特征，如ECO、MDNet、SANet、BranchOut、DaSiamRPN和SPM-Tracker。但从深度网络中提取特征的过程经常需要多次操作，降低跟踪算法的速度，并且难以满足监控系统的实时需求。基于时频变换的相关滤波跟踪算法计算高效，近年来受到广泛关注。核相关滤波算法通过分类器训练、目标检测和模型更新提高了复杂河流场景中浮动对象跟踪的性能，但漂浮物尺度的动态变化往往会产生跟踪漂移，不能解决固定监控场景中漂浮物近远运动状态引起的尺度变化问题。以上目标跟踪算法主要是基于视频序列中的时间信息对目标进行处理，对其具体位置及尺度等空间信息的确定精确度不高，跟踪过程中可能会不断积累误差，造成目标漂移，导致跟踪失败。

基于实际水面漂浮物检测与跟踪的需求，目前国内外相关研究成果存在精度、速度以及受到复杂水面环境的影响，无法满足水面漂浮物检测与跟踪的需求。本发明在深度学习技术不断拓展的基础上，提出基于时空信息融合的水面漂浮物目标检测与跟踪方法，达到对水面漂浮物的精准检测与跟踪。该方法在单帧检测阶段，通过删除SSD网络中深层低分辨率检测层和增强浅层高分辨率特征层来获得小尺度漂浮物的空间信息，解决小尺度漂浮物检测问题；在多帧滤波阶段，使用相关滤波跟踪来计算视频帧之间梯度特征的时间信息相关性，以降低漏检率；在信息融合阶段，通过特征对比将改进SSD检测网络和核相关滤波算法获得的信息进行融合，确保检测跟踪速度和准确率。

发明内容