[发明专利]一种面向边缘计算的河面采砂船及过往船只识别方法

权利要求书

1.一种面向边缘计算的河面采砂船及过往船只识别方法，其特征在于，包括以下步骤：

S1、船舶图像数据集的收集与制作：收集部署在江面岸边摄像头拍摄的过往的不同类别的船只图片，通过人工方式对船只数据集进行整理，从中筛选出画面清晰、易于分辨的符合要求的船只图片，对船只图像数据进行标注，结合公开船只数据集形成总的VOC格式的数据集；

S2、船只图像的预处理：利用数据增广的技术增加训练的船只数据量，提高YOLOv4-tiny模型的泛化能力；同时通过增加噪声数据的方式，提升YOLOv4-tiny模型的鲁棒性；

S3、先验框的生成：利用K-Means聚类算法根据自制的船只目标检测数据集标签数据生成适用于特定船只数据集情形下的6个不同大小尺寸的先验框，用于提高目标检测精度；

S4、改进网络的搭建：搭建基于改进YOLOv4-tiny的河道采砂船及过往船只检测模型，将YOLOv4-tiny主干网络中的基本卷积层中的LeakyReLU激活函数替换为SiLU激活函数，组成CBS卷积模块，形成新的主干特征提取网络；新的主干特征提取网络输出两种不同尺度的特征图；分别在YOLOv4-tiny的主干网络的两个输出fea1和fea2后以及加强特征融合网络的上采样层和下采样层后加入SE注意力机制模块，SE注意力机制模块会关注通道之间的关系，模型可以自动学习到不同通道特征的重要程度；在FPN层后面加入自上而下的连接，形成PANet网络结构；两种不同尺度的特征图分别通过各自对应的YOLOHead卷积块处理后进入船只分类预测、船只置信度预测和船只位置信息的预测；

S5、改进YOLOv4-tiny模型的训练：利用训练集对船只识别模型进行训练，使用验证集验证训练效果，更新权重，获取最优检测模型；

S6、目标检测识别：利用训练好的改进YOLOv4-tiny模型对河面上的采砂船及过往船只进行检测，判断是否有船只，如果有船只则标记出船只的类别、位置大小和置信度；对测试集的检测结果进行检测精度和实时性评价，评价指标包括mAP和FPS。

2.如权利要求1所述的一种面向边缘计算的河面采砂船及过往船只识别方法，其特征在于，步骤S1具体过程如下：

S1-1、通过收集部署在江面岸边摄像头拍摄的过往的不同类别的船只图片，包括采砂船、运砂船、客船、普通货船、渔船、集装箱船、散装货船七个不同分类的船只，通过人工方式对船只数据集进行整理，从中筛选出具有所需船舶目标且目标清晰、目标大小适中以及目标较为完整的图片，图片分为1920*1080和1440*900两种分辨率大小，对选取的图片进行编号，利用图片数据标记工具LabelImg标注船体目标，结合公开船只数据集形成总的VOC格式的数据集；

S1-2、利用数据标记工具LabelImg对船只图片进行标记生成格式为XML的标记文件,此XML文件包含了数据集名称、图片的名称、存储路径、来源、尺寸、宽度和高度、色彩通道数还有所标注物体的类别、拍摄角度、是否被裁剪、是否容易被识别、物体的bbox关键信息。

3.如权利要求1所述的一种面向边缘计算的河面采砂船及过往船只识别方法，其特征在于，步骤S4具体过程如下：

用YOLOv4-tiny主干特征网络提取传入网络图片的特征，并输出两个大小分别为feat1:（26，26，256）和feat2:（13，13，512）的有效特征层，传入加强特征提取网络当中进行PANet的构建；

在YOLOv4-tiny的FPN结构之后，加入PANet结构，具体的，将大小为（26，26，384）的特征图经过一层输入通道数为384，输出通道数为256，卷积核大小为3*3，步长为2的卷积层进行下采样的处理，以减小特征图的大小，输出大小为（13，13，256）的特征图；

YOLOv4-tiny主干特征提取网络的另一个输出feat2（13，13，512）经过一个卷积操作得到大小为（13，13，256）特征图，此特征图与上一步下采样得到的（13，13，256）的特征图进行通道维度的拼接操作，可以融合两个不同尺度的特征，得到大小为（13，13，512）的特征图，此特征图经过一个输入通道数为512，输出通道数256，卷积核大小为1*1，步长为1的卷积层进行通道数的调整，得到大小为（13，13，256）的特征图，然后再经过YOLOHead的处理得到最终的输出结果。

4.如权利要求1所述的一种面向边缘计算的河面采砂船及过往船只识别方法，其特征在于，步骤S5具体过程如下：

S5-1、将船只图片文件放到项目中的JPEGImages文件夹中；将对应的标签文件放到项目中的Annotation文件夹中，作为数据集训练模型；生成包含图片名称索引的文件；训练时按照9：1的比例划分训练验证集和测试集，在训练验证集中按照9：1的比例划分训练集和验证集；其中，训练集的作用是用来拟合模型，通过设置分类与回归器的参数，训练分类与回归模型，后续结合验证集作用时，会选出同一参数的不同取值，拟合出多个分类回归器；验证集的作用是找出效果最佳的模型，使用通过训练集训练出各个模型对验证集数据进行检测，并记录模型准确率，选出效果最佳的模型所对应的参数，即用来调整模型参数；测试集的作用是对通过训练集和验证集得出最优模型进行模型的预测，衡量该最优模型的性能和分类能力，即把测试集当做从来不存在的数据集，当已经确定模型参数后，使用测试集进行模型性能评价；

S5-2、生成包含船只图片中船只的分类及位置的文本文件，用于训练模型；其中classes变量存放船只类别，一共有七个分类，其中sand dredger代表采砂船，ore carrier代表运砂船，passenger ship代表客船，general cargo ship代表普通货船，fishing boat代表渔船，bulk cargo carrier代表散装货船，container ship代表集装箱船；

S5-3、利用训练集对所述基于改进YOLOv4-tiny的模型进行训练，用验证集评估训练效果，进行反向传播更新参数以使损失函数降低到最小值，获取最优检测模型。