[发明专利]适用于TX2嵌入式平台的水产品目标实时检测方法

权利要求书

1.一种适用于TX2嵌入式设备的水产品目标实时检测方法，其中涉及到上位机和搭载TX2嵌入式设备的自主水下机器人AUV，将水下机器人采集的离线图像数据在上位机完成样本数据的预处理和检测网络模型的训练，并将训练好的检测网络模型移植到水下机器人的TX2嵌入式设备上进行水产品目标实时检测，其特征在于，包括有如下步骤：

步骤1水产品图像数据库的构建及特性分析：通过水下机器人拍摄真实海洋环境下水产品图像，构建水产品图像数据库，并对水产品目标进行类别和位置信息的标签标注；对水产品数据库中的图像进行定性评估和定量统计，得出该数据库具有图像降质和目标类不平衡信息；

步骤2对水产品图像数据进行图像增强预处理：在上位机对水产品图像数据库中存在模糊、对比度低、偏色的图像进行处理，采用受限对比度自适应直方图均衡算法CLAHE提升图像对比度，采用带颜色恢复的多尺度视网膜算法MSRCR校正图像颜色，采用线性方程混合两种算法实现水下图像增强；

步骤3对水产品图像数据进行数据扩增预处理：在上位机对水产品数据库目标类不平衡的处理，利用卷积神经网络特征融合方法改进DCGAN生成器结构，设计生成目标与背景融合中心点函数，采用泊松融合方法将生成目标图像与背景融合作为训练数据，扩增水产品数据集；所述对水产品图像数据进行数据扩增预处理，其中DCGAN生成器的改进是将靠近输出的第4层使用卷积下采样的方式张贴到第2层实现特征融合，融合中心点函数是考虑原始目标覆盖问题和边界条件，设置目标图像融合中心点的约束函数；

步骤4TX2的检测实时性可行性分析评估：用YOLOv3算法分析评估TX2的检测实时性，计算YOLOv3网络模型的参数量和计算量，通过对比YOLOv3网络模型与TX2计算量得出YOLOv3网络模型的检测速度，以评估其在TX2上检测的可行性；

步骤5确定水下轻量化网络模型主干网络的初始基本单元：使用深度可分离卷积DSC代替传统标准卷积方式，引入逐层卷积和逐点卷积实现特征的提取和通道信息的融合，形成主干网络的初始基本单元DSC；初始基本单元DSC由一个逐层卷积层和一个逐点卷积层构成；

步骤6搭建具有多尺度特征提取能力的主干网络基本单元I-DSC：在主干网络初始基本单元DSC的基础上增加多尺度特征提取，在DSC的基础上引入Inception模块的多尺度特征提取构成I-DSC基本单元，通过并行增加1×1卷积来充分提取特征，将不同尺度提取的特征在第三个维度上进行组合，形成了具有多尺度特征提取能力的主干网络基本单元I-DSC；

步骤7构建水下轻量化网络模型的主干网络结构：在I-DSC单元上再引入残差模块构成主干网络结构的基本单元，该基本单元为RI-DSC模块，具体是将上一层的输出特征直接映射到本层的输出进行add操作，形成主干网络最终基本单元RI-DSC模块；以RI-DSC模块为基本单元结合下采样层以特定规则进行堆叠构成一个20层的主干网络，其中用来进行特征提取的RI-DSC模块共有14层，将RI-DSC模块的最后一层的输出、中间第七层的输出以及十一层的输出分别作为预测网络的输入；用来改变特征图尺度的下采样层共有6层，使用步长为2的标准卷积实现下采样操作；主干网络的输入为水产品图像数据，每层卷积输出不同尺度的特征图，主干网络最终输出固定大小特征图；

步骤8构建水下轻量化网络模型的预测网络结构：该预测网络共有三层，每层均由相同大小的特征图依次连接构成，首层设为五个52×52×128大小的特征图，中间层设为四个26×26×256大小的特征图，最后层设为13×13×512大小的特征图，每层都有各自预测结果的输出；该预测网络三层的输入分别为主干网络52、26、13尺度特征图的输出，同时不同层之间还设有下采样和上采样操作来实现特征融合；多个特征连接的时候沿着特征图深度的方向进行堆叠，然后在采用1×1的卷积来进行通道之间融合；

步骤9水下轻量化网络模型的整体搭建：将主干网络输出的尺度特征图作为预测网络的输入，具体是将主干网络中RI-DSC模块的最后一层的输出连接到预测网络的第三层输入、中间第七层的输出作为预测网络的第一层的输入，将十一层的输出作为预测网络第二层的输入；合并主干网络和预测网络搭建整体网络模型，并在上位机使用增强后的水产品数据库对该网络模型进行训练，当损失值收敛后对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛；

步骤10水下轻量化网络模型的嵌入式设备部署：将设计好的整体网络模型部署到水下机器人的TX2嵌入式设备上，在TX2上根据需求配置好深度学习环境，将上位机训练好的权重参数移植到TX2上进行调试，并采用TensorRT完成加速优化，实现对水产品目标的实时检测。