[发明专利]一种基于深度学习的鱼类细粒度图像识别方法

权利要求书

1.一种基于深度学习的鱼类细粒度图像识别方法，其特征在于，具体处理步骤如下：

1)图像预处理处理步骤：选取公开的海洋鱼类视频数据集，并从中选取一定数量的含鱼类的静态图像；对含鱼类的静态图像通过图像增强方法进行处理，得到预处理图像；

2)图像检测步骤：通过融合候选区域的深度全卷积网络RPN的快速区域卷积神经网络Faster R-CNN对步骤1)处理后的图像进行检测，构建海洋鱼类图像识别的模型；模型构建中通过卷积神经网络中的卷积层和池化层来产生特征图；

3)图像识别步骤：通过特征融合的FL-BCNN鱼类识别模型，对识别模型中特征网络提取到的不同卷积层的特征进行特征融合，增强特征提取网络之间的空间联系，提高鱼类特征的表达能力；

其中，基于特征融合的FL-BCNN网络包括特征提取过程的Stream A和Stream B，且Stream A和Stream B分别使用VGG-16作为特征提取网络，通过13个卷积层和4个池化层执行位置检测和特征提取；其中13个卷积层均使用3×3尺寸的卷积核，相同的卷积核尺寸使得前一层卷积核的张量与后一层的卷积核张量保持相同的宽和高，4个池化层均使用2×2的池化核进行池化。

2.根据权利要求1所述的一种基于深度学习的鱼类细粒度图像识别方法，其特征在于：将步骤1)图像增强方法处理含鱼类的静态图像，对采集到的样本数据集做基于暗通道的加强处理，提高颜色通道的低值部分，暗通道定义公式如下：

提高图像颜色通道的低值部分的公式如下：

其中，I(x)就是已有的含鱼类的静态图像，J(x)是提升颜色通道低值部分后的图像；其中ω为常数。

3.根据权利要求1所述的一种基于深度学习的鱼类细粒度图像识别方法，其特征在于：步骤2)中的海洋鱼类图像识别的模型具体包括如下步骤：

2.1)将对应得处理后的图像数据由ResNet101特征提取网络进行处理，得到特征图；

2.2)得到的特征图经过两条线路，一条线路经过特征金字塔网络FPN，融合不同层的特征，然后经过目标候选区域网络RPN，得到若干个前景目标候选区域ROI，并将其送入ROIPooling层；另一条线路原封不动直接将特征图送入ROI Pooling层；

2.3)将经过ROI Pooling层的特征向量输入到两个输出层：一个是分类层，判断目标是否是某类鱼类；另一个是回归层，对ROI边框位置和大小进行微调，从而最终得到图像中鱼类的检测结果。

4.根据权利要求3所述的一种基于深度学习的鱼类细粒度图像识别方法，其特征在于：步骤2.2)中的目标候选区域网络RPN采用特征金字塔网络FPN融合不同层的特征生成目标候选框；

特征金字塔网络FPN把特征图feature map设计成多尺度的金字塔结构，每一层对应使用单一尺度的anchor，ResNet101中卷积层的C2、C3、C4、C5对应的每一层金字塔{P2、P3、P4、P5}，且其分别对应的anchor尺度为{32×32,64×64,128×128,256×256}，并且为了目标候选区域网络RPN进行下采样操作的P6层的anchor尺度为512×512；其中使用三种比例(1:2,1:1,2:1)共15种类型的anchor对鱼类图像中的目标对象和背景进行检测，生成目标候选框；

具体处理如下：

首先将卷积层C5降到256，经过3×3卷积处理输出P5；再将卷积层C5经过上采样后经过1×1降维处理再与卷积层C4相加，经过3×3卷积处理输出P4；P3、P2以此类推；接着P6则是从P5极大池化后直接得到；最后将得到的P2-P6输入RPN网络中。