[发明专利]一种基于神经网络的近岸海底鱼类检测及跟踪统计方法

权利要求书

1.一种基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，包括：

步骤1：获取鱼类水下实时视频，将所述水下实时视频分解为包括海底鱼类的鱼类图像，对所述鱼类图像进行预处理，将所述鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对所述水下图像信息与所述标签列进行训练，获得清晰图像，所述标签列是作为类别的辅助信息帮助训练；

步骤2：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的所述鱼类特征图应用金字塔方式进行融合，得到最终特征图；

步骤3：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对所述鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出所述清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入所述鱼类特征图，拟合所述有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出所述有鳍品种具体种类；

步骤4：跟踪过程将所述检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过所述神经网络Darknet53得到每个所述质点的雅可比矩阵和距离向量，将所述雅可比矩阵和所述距离向量代入泰勒公式，其中公式为，其中，表示上一帧检测到的鱼的所述雅可比矩阵，表示鱼的所述距离向量，为上一帧鱼的位置特征，为预测位置特征，得到计算下一帧游动的位置点，通过对所述位置点附近的检测框应用欧式距离公式，判断所述位置点与所述检测框位置关系，得到所述检测框得分数值，对所述得分数值进行排列，筛选并获得所述得分数值小于预设阈值的鱼的ID；

步骤5：将近岸海底鱼类检测及跟踪结果汇总并显示，将所述检测过程和所述跟踪过程得到的信息进行综合处理得出最终输出结果，并对所述最终输出结果进行在线检测跟踪。

2.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤3中所述第一阶段进一步包括：

所述第一阶段主要依据鱼的整体纹理信息和鱼鳞形状信息等总体信息来区分不同种类的鱼类，并定位其位置坐标。

3.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤4中所述雅可比矩阵和所述距离向量包括：

所述雅可比矩阵为2*2的矩阵形式，预测下一帧鱼游动的方向，所述距离向量是2*1向量，预测下一帧鱼向x、y方向游动的距离。

4.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤1中所述预处理的方法为：

以所述鱼类图像最长边作为参考边计算缩放因子，通过双线性插值将所述鱼类图像缩放至608×342，对所述鱼类图像的上下边进行零填充，得到裁剪后指定尺寸为608×608的所述鱼类图像。

5.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤1中所述无监督图像分割算法为：

将所述数据集放入8层神经网络中迭代20次，每次迭代从鱼类特征中选取较大者作为聚类标签，进行聚类后，统计每个聚类中出现次数最多的所述聚类标签，将所述聚类标签中所有像素记录为类别，得到所述类别低于设定数值的图像分割图。

6.根据权利要求5所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，所述8层神经网络进一步包括：

所述8层神经网络包括5层卷积层、2层最大池化层、1层全连接层和8通道作为类别通道，从所述类别通道中选取最大值作为所述聚类标签。