[发明专利]基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统

说明书

本发明公开了一种基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统，用于船舶非法卸砂行为的检测，属于计算机视觉领域。本发明针对船舶检测、抓斗检测两个不同场景对Yolo算法的backbone部分进行了不同的优化；通过船舶检测、抓斗检测的结果判定当前船舶是否正在进行卸砂行为；结合视频信号、AIS信号以及手机信号对船舶的非法卸砂行为进行识别。本发明针对不同场景对Yolo算法进行了不同的优化以满足实际检测需求，同时结合视频信号、AIS信号以及手机信号综合判定船舶的卸砂行为是否非法，提高了判定准确度。

技术领域

本发明属于计算机视觉领域，特别涉及物体检测、特征提取、多尺度预测、多模态融合、AIS信号识别等技术，具体涉及针对不同场景对Yolo算法的不同优化方法以及一种基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统。

背景技术

江砂是河道稳定、水沙平衡的物质基础。非法的采砂行为会威胁堤防等水利防洪设施安全，污染水源，破坏航道危及航行安全，对生态环境造成严重的破坏。由于非法砂石存在巨大利益，违法犯罪分子会结伙实施非法采砂、卸砂行为，形成非法利益链条，严重危害防洪安全、航运安全和水生态安全。

长江流域附近存在诸多码头，违法犯罪分子通常在这些码头进行船舶的非法卸砂行为。在这些码头对非法卸砂行为进行检测可以切断违法犯罪分子的利益链条，中止非法采砂、卸砂行为。由于非法卸砂行为较为隐蔽，人工检测效率低、困难大，因此需要一种高效的船舶非法卸砂行为识别方法。

目标检测算法大致分为两类：“两阶段”和“一阶段”方法。“两阶段”是指检测和识别两个阶段，该方法是基于区域推荐的。代表算法有RCNN、Fast-RCNN、Faster-RCNN等。而“一阶段”是基于回归的，直接对物体的类别概率和位置坐标值进行回归。代表算法有Yolo系列和SSD系列算法等。其中“一阶段”方法检测速度比“两阶段”方法快，可以很好的避免背景错误，符合实际场景下的船舶、抓斗的检测与识别的实时性要求。Yolo目标检测算法是一种优秀的“一阶段”检测方法，是目标检测任务中检测精度和速度最为均衡的算法之一，被广泛的应用于各种检测任务中。Yolo目标检测算法将目标检测抽象为一个简单的回归问题，在算法过程中无需进行区域推荐等操作，直接使用卷积神经网络卷积特征。网络模型的输入为整个图像，并且能够直接在网络模型中的输出层获得边界框的坐标信息、类别信息、目标的置信度等信息。如公开号CN112487920A的中国专利于2021年3月12日公开的一种基于卷积神经网络的翻越行为识别方法，就是利用Yolo目标检测算法解决行人翻越栏杆的行为识别中存在的检测精度不高的问题。

Yolo目标检测算法在船舶行为识别上也有应用，如公开号CN110610165A的中国专利于2019年12月24日公开了一种基于YOLO模型的船舶行为分析方法，包括制作现有船舶类型图像的数据集；通过YOLO模型的卷积神经网络提取数据集中船舶的多尺度特征，并训练神经网络识别船舶图像的能力；将船舶的视频序列作为YOLO模型的输入参数，对视频序列中的船舶进行识别，并获得船舶位置信息；根据待检测船舶在视频序列每帧中的位置，应用时空约束条件和几何知识分析待检测船舶的行为。

发明内容

为克服上述现有技术的不足，本发明提供一种基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统，针对不同场景对Yolo算法进行了不同的优化以满足实际检测需求，同时结合视频信号、AIS信号以及手机信号综合判定船舶的卸砂行为是否非法，提高了判定准确度。

根据本发明说明书的一方面，提供了一种基于Yolo Backbone优化的船舶非法卸砂行为识别方法，包括：

帧采样：获取船舶的实时视频数据并进行帧采样；

船舶检测：基于帧采样的图像数据，使用Yolo Backbone优化的目标检测算法进行船舶检测；

ROI选择：若检测到船舶，则将检测到的船舶区域进行扩展得到ROI，在ROI中检测船舶的抓斗；