[发明专利]一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法

权利要求书

1.一种过鱼鱼道系统，其特征在于，所述过鱼鱼道系统包括：服务器、补光光壁、两个拦鱼铁网和两个水下摄像机；

两个拦鱼铁网相对设置在过鱼鱼道的两侧，补光光壁设置在两个拦鱼铁网之间的过鱼鱼道中，使得鱼从拦鱼铁网和补光光壁之间通过；

在每个拦鱼铁网和过鱼鱼道的内壁之间设置一个水下摄像机；两个水下摄像机的镜头均对准所述补光光壁；

两个水下摄像机的信号输出端均与服务器连接，两个所述水下摄像机用于分别拍摄从拦鱼铁网和补光光壁之间通过的鱼的图像，并将所述图像传输至所述服务器；

所述服务器用于根据两个水下摄像机拍摄的图像获得过鱼鱼道的鱼类数量和种类；

所述服务器包括：图像获取模块、识别模块、追踪模块和鱼类数量统计模块；

图像获取模块，用于获取监测时段内每个水下摄像机拍摄的多个图像；

识别模块，用于将每个水下摄像机拍摄的每个图像输入训练好的YOLOv5网络分类模型，输出标注有每条鱼的预测框及种类的识别图像；

追踪模块，用于将每个水下摄像机对应的每个识别图像划分为4个区域，并根据每个水下摄像机对应的划分区域后的识别图像，利用基于计数功能的DeepSort多目标追踪算法对识别图像中的鱼进行轨迹追踪与数量统计，获得监测时段内每个水下摄像机对应的过鱼鱼道中每种鱼类的上行数量和下行数量；

鱼类数量统计模块，用于将监测时段内所有水下摄像机对应的过鱼鱼道中同种鱼类的上行数量和下行数量的和作为过鱼鱼道在监测时段内每种鱼类的数量；

所述YOLOv5网络分类模型具体包括：

输入端，用于输入尺寸为640×640的三通道的图像；

BackBone主干网络，所述BackBone主干网络以Focus、CSPNet网络框架为模型，用于对图像进行特征提取；

Neck模块，所述Neck模块采用最大池化方法的空间池化结构和实例分割框架下的路径聚合网络结构，用于将三个特征层中的浅层信息和深层信息进行反复特征融合再提取并生成三个特征图；所述三个特征图为20×20、40×40、80×80的特征图网格；

输出层，用于对所述三个特征图进行预测和预测解码，得到图像中每条鱼预测框的位置及类别；所述每个特征图网格预先设定B个不同大小和宽高比的边界框；每个边界框包含5个预测值：t_x、t_y、t_w、t_h和置信度；预测框以边界框为基础进行位置移动和大小缩放；具体公式如下：

式中：σ(x)为Logistic函数，(c_x，c_y)为特征图中每个网格的左上角坐标；p_w、p_h为边界框相对于特征图的宽和高；t_x、t_y、t_w、t_h为边界框的中心坐标及宽和高；(b_x，b_y)为预测框的中心坐标，w为预测框的宽，h为预测框的高；每个所述特征图网格会生成B个所述边界框，所述边界框进行非极大值抑制，没有目标的边界框会直接去除，有目标的所述特征图网格高亮所有类别中置信度最高的边界框，去除所述特征图网格中其它类别的边界框；所述置信度由YOLOv5网络分类模型不断的迭代训练而预测得来；所述置信度最高的边界框和其它特征图网格经过非极大值抑制后的边界框与真实框进行交并比；若交并比大于0.5则当成是同一目标，去除交并比中置信度低的边界框，最后得到一个置信度最高的边界框；

所述追踪模块，具体包括：

区域划分子模块，用于利用十字线将水下摄像机对应的每个识别图像划分为4个区域，获得区域划分图像；

预设子模块，用于预设区域划分图像帧的数量k等于1；

匹配子模块，用于根据第k帧和第k+1帧区域划分图像，利用DeepSort多目标追踪算法匹配两帧区域划分图像中的鱼，获得两帧区域划分图像中匹配成功的鱼在第k+1帧区域划分图像中的预测框位置；

游行方向确定子模块，用于根据匹配成功的鱼在第k+1帧和第k帧区域划分图像的所在区域，确定匹配成功的鱼的游行方向；所述游行方向为上行或下行；

数量统计子模块，用于根据第k+1帧区域划分图像中匹配成功的鱼的游行方向和所属鱼类，统计第k+1帧区域划分图像中匹配成功的鱼所属鱼类的上行数量和下行数量；

循环子模块，用于将k的数值增加1，返回步骤“根据第k帧和第k+1帧区域划分图像，利用DeepSort多目标追踪算法匹配两帧区域划分图像中的鱼，获得两帧区域划分图像中匹配成功的鱼在第k+1帧区域划分图像中的预测框位置”，直到k+1的数值等于监测时段内水下摄像机拍摄的所有图像的总数量，输出第k+1帧区域划分图像中匹配成功的鱼所属鱼类的上行数量和下行数量，作为监测时段内每个水下摄像机对应的过鱼鱼道中每种鱼类的上行数量和下行数量。