[发明专利]基于神经网络的鱼质量估计方法及系统、装置与存储介质

权利要求书

1.一种基于神经网络的鱼质量估计方法，其特征在于，包括如下步骤：

获取拍摄主体的实时拍摄图像；

基于图像分割神经网络中的卷积骨干网络提取的实时拍摄图像的特征，获取融合特征；

获取拍摄主体的实时三维特征信息；

将拍摄主体的实时三维特征信息输入到全连接神经网络中进行处理获取拍摄主体的估计质量。

2.根据权利要求1所述的基于神经网络的鱼质量估计方法，其特征在于，所述步骤获取拍摄主体的实时三维特征信息之前，还包括：

获取实时拍摄图像上的多个拍摄主体对应的候选区域框。

3.根据权利要求1或2所述的基于神经网络的鱼质量估计方法，其特征在于，所述步骤将拍摄主体的实时三维特征信息输入到全连接神经网络中进行处理获取拍摄主体的估计质量之前，还包括：

对全连接神经网络进行训练。

4.根据权利要求3所述的基于神经网络的鱼质量估计方法，其特征在于，所述对全连接神经网络进行训练的方法包括：

构建拍摄主体图片集；

获取拍摄主体图片集中图片的三维特征信息值，其中，图片的三维特征信息值由人工进行标定；

获取拍摄主体图片集中图片对应的拍摄主体的质量；将拍摄主体图片集中图片对应的拍摄主体进行称量，获取拍摄主体的质量；

将拍摄主体图片集中的图片的三维特征信息值与图片对应的拍摄主体的质量进行耦合，获得全连接神经网络的训练集。

5.根据权利要求3所述的基于神经网络的鱼质量估计方法，其特征在于，所述对全连接神经网络进行训练的方法还包括：

建立拍摄主体质量估计模型。

6.根据权利要求1或2所述的基于神经网络的鱼质量估计方法，其特征在于，所述获取拍摄主体的实时三维特征信息的方法包括：

将融合特征输入到全卷积神经网络中，经过卷积处理后获得实时拍摄图像上各个像素位置的二值掩膜，获取实时拍摄图像上拍摄主体的分割结果轮廓；

在图像分割神经网络的卷积骨干网络中构建一个新的分支作为边缘敏感模块，在该新的分支中，选取任一卷积骨干网络卷积层提取的实时拍摄图像的特征作为输入，将该提取的实时拍摄图像的特征尺寸是否小于实时拍摄图像的尺寸进行比较；

若该提取的实时拍摄图像的特征尺寸小于实时拍摄图像的尺寸，则对该提取的实时拍摄图像的特征进行两倍的双线性插值上采样，得到上采样结果；

基于多层感知机，在其中一层感知机中挑选出分割结果轮廓上的点，将分割结果轮廓上的点在骨干网络卷积层输出的特征和上采样结果中的特征输入到另一层感知机中，获得其归属于实时拍摄图像上拍摄主体的概率；

根据分割结果轮廓上的点归属于实时拍摄图像上拍摄主体的概率对分割结果轮廓上的点进行判断，获取实时拍摄图像上拍摄主体的真实轮廓；当该概率不小于预设阈值，则该分割结果轮廓上的点归属于实时拍摄图像上的拍摄主体，当该概率小于预设阈值，则该分割结果轮廓上的点在实时拍摄图像上的拍摄主体外；

采用最小外接矩形算法获取实时拍摄图像上拍摄主体的真实轮廓的最小外接矩形，获取拍摄主体的实时三维特征信息。

7.根据权利要求1所述的基于神经网络的鱼质量估计方法，其特征在于，所述获取拍摄主体的实时拍摄图像的方法，具体操作为：

配置用于存放鱼类的储水箱、用于流入鱼类的泵水箱、设置在储水箱与泵水箱之间的透明管道、至少两个用于拍摄鱼类的摄像头，其中，泵水箱连接有水泵，用于将泵水箱一侧的水抽离使得水流方向从储水箱朝向泵水箱，至少两所述摄像头分别设置在透明管道的不同侧面。

8.一种基于神经网络的鱼质量估计系统，其特征在于，包括：

实时采集模块，用于获取拍摄主体的实时拍摄图像；

融合特征获取模块，用于基于图像分割神经网络中的卷积骨干网络提取的实时拍摄图像的特征，获取融合特征；

实时三维特征信息获取模块，用于获取拍摄主体的实时三维特征信息；

质量估计模块，用于将拍摄主体的实时三维特征信息输入到全连接神经网络中进行处理获取拍摄主体的估计质量。