[发明专利]一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法

说明书

本发明公开一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法，对yolov5进行改进，在用于金字塔结构的三层之前各引入一层自注意力层CBAM，将Conv层中的激活函数由SiLU改为可以提取二维空间信息的FReLU，并使用卡尔曼方法建立连续帧之间的状态变化关系，并根据时间序列产生的参数变量分布辅助预测，通过对下一帧的预测信息，帮助判断鱼类的重叠情况，进而实现针对重叠目标的实时辨识。本发明应用运动的差分模型与时序处理方法，增强了算法的可解释性，同时针对水下场景对处理步骤进行了微调，对水下重叠目标具有很好的检测效果。

技术领域

本发明涉及人工智能图像识别领域，具体涉及一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法。

背景技术

我国许多城市都有水族馆，水下动物种类繁多，引入一套摄像设备，对视野内的鱼类进行实时且有效的识别与标注可以降低游客学习的门槛，提升参观体验。当前人工智能在目标检测领域的应用十分广泛，其中yolo系列算法是公认的较好的算法。yolov5由backbone和head两个部分组成，实现了端到端的检测。然而，直接使用目标识别技术虽然可以在实现对水族馆鱼类的框选和标注，但也同时面临水下目标识别困难以及鱼类重叠现象的挑战。

由于水下环境的复杂性以及鱼类的多样性，现存的卷积神经网络识别结果的准确度与实时性均不够理想。YOLO模型能够提取和训练数据集的特征，并对样本进行学习和预测。然而，由于鱼类的游动以及其本身生活习性，常常发生多个鱼类的重叠，对识别效果造成影响。

现有的目标检测算法主要包括传统目标检测算法和基于深度学习的目标检测算法，基于深度学习的目标检测算法又可以分为anchor based方法和anchor free方法。传统目标检测算法主要基于手工提取特征，存在特征提取困难、缺乏通用性、耗时长等缺点。基于深度学习的目标检测算法精确性高，鲁棒性强。其中anchor-based方法包括一阶段和二阶段检测算法，二阶段目标检测算法精度要高，一阶段检测算法速度更快。现阶段anchor-free方法存在正负样本极端不平衡、语义模糊性(两个目标中心点重叠)、检测结果不稳定等缺点。如通过图像增强与改进Faster-RCNN网络的重叠鱼群尾数检测基于Faster-RCNN进行改进，但因水下图像容易出现颜色偏移和亮度较低的等问题，检测成功率不高。

发明内容

为了解决现有技术在水族馆管理以及教学过程中不能对鱼类状态以及类别进行高效率分辨监控问题，本发明提供一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法，具体技术方案如下：

一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法，该方法包括如下步骤：

步骤一：使用带有深度传感器的摄像机采集水下视频的RGBD信息，从视频中抽取图像，完成对检测目标的图像信息采集；

步骤二：利用Sea-Thru算法重建水下场景，对水下图像进行修复，具体包括：利用已知的距离，以暗通道先验的方式估计后向散射；然后利用局部空间平均颜色，估计距离相关衰减系数；

步骤三：构建并训练改进的yolov5模型，所述改进的yolov5模型为在用于金字塔结构的三层之前各引入一层自注意力层CBAM，并将Conv层中的激活函数由SiLU改为可以提取二维空间信息的FreLU；所述改进的yolov5模型的输入为修复后的水下图像，输出为检测框的信息；

步骤四：对视频流按照一定的帧采样速率进行采样，得到单帧图像，并按照步骤二进行修复后，输入训练后的改进的yolov5模型，模型输出检测框的信息，并对检测框的信息求差分，得到每个目标的状态向量其中，x,y,w,h中分别为矩形候选框的质心位置坐标以及宽高，为相邻两帧对应状态的差分；

步骤五：对每帧图像，使用卡尔曼滤波的思想进行连续两帧图像的追踪，得到各目标状态向量的最优预测值；