[发明专利]基于改进的神经网络对图像中的猪只进行自动识别的方法

权利要求书

1.基于改进的神经网络对图像中的猪只进行自动识别的方法，其特征在于，包括以下步骤：

S1、获取猪只图像数据；其中，获取的猪只图像数据包括猪只的初始图像，并对初始图像中的猪只进行标注，得到猪只的标注框；

S2、将进行标注后的猪只图像输入到改进的神经网络中进行神经网络的参数训练；其中，改进的神经网络包含卷积层、区域建议网络层、池化层和分类层；

S3、参数训练完成后，得到一个能够对图像中的猪只进行自动识别的神经网络模型，最终通过该神经网络模型即可对任意输入的图像中的猪只进行自动识别，即将一张待测图像输入到该神经网络模型中，就会准确识别出图像中猪只的位置。

2.根据权利要求1所述的基于改进的神经网络对图像中的猪只进行自动识别的方法，其特征在于，所述步骤S1包括以下步骤：

S101、获取猪只图像数据的初始图像由人工拍照收集；

S102、使用labelImg这一个数据集格式制作软件对数据集中初始图像的猪只对象进行标注，并将标注以PASCAL VOC的图像标注格式保存；

S103、对数据集进行分割生成供训练使用的训练集部分、供训练期间验证的验证集部分和供训练后测试的测试集部分，用以后续将图像数据输入改进的神经网络进行参数的训练。

3.根据权利要求1所述的基于改进的神经网络对图像中的猪只进行自动识别的方法，其特征在于，在步骤S2中，所述卷积层为五十层的残差网络ResNet50，将初始图像输入ResNet50中，ResNet50作为提取图像特征的主框架将输出初始图像的高维特征图；

所述区域建议网络层为Faster R-CNN模型的区域建议网络RPN，RPN使用一个3*3大小的滑动窗口对ResNet50输出的高维特征图进行从上到下、从左到右的扫描，每一次扫描都会根据高维特征图计算出该次扫描的点在原图中的位置，并在原图中生成9个不同形状的矩形框anchor；RPN将使用两个卷积层作为分支分别用于anchor的分类判断及边框修正，具体如下：

其中一个卷积层作为边框分类层，对每一个anchor生成两个分数，两个分数代表anchor是前景和是背景的概率，将每一个anchor分类为前景和背景；

另外一个卷积层作为区域边框回归层，对被分类为前景的anchor进行边框修正，对前景anchor产生t_x、t_y、t_h、t_w这四个偏移量，具体计算如下：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a t_w＝log(w/w_a) t_h＝log(h/h_a),

式中，x为预测框的x坐标、x_a为anchor的x坐标、x^*为标注框的x坐标，y为预测框的y坐标、y_a为anchor的y坐标、y^*为标注框的y坐标，w为预测框的宽度、w_a为anchor的宽度、w^*为标注框的宽度，h为预测框的高度、h_a为anchor的高度、h^*为标注框的高度，以决定调整后的anchor位置；

调整后的anchor即为RPN生成的候选框proposal；在RPN上，候选框的正标签有两种不一样的选取流程：①当候选框与标注框有最高交并比的时候，为正标签；②当候选框与标注框的交并比高于0.7的时候，为正标签；根据以上流程，每个标注框很多时候都会使得多个候选框是正样本；在大多数情况下，正样本由第二个流程能够选取出来，当第二个流程无法得到正样本的候选框的时候，为了保证每个标注框都至少有对应的一个候选框正样本，这时采用第一个流程产生正样本矩形框；当正样本选取完毕后，在剩下的候选框中选取与全部标注框的交并比都低于0.3的那些候选框为负样本；上述工作完成后，剩下的是没有正负样本标签的候选框；

所以，当初始图像的高维特征图输入进RPN时，RPN将在初始图像上生成候选框；

所述池化层为Mask R-CNN模型提出的池化层RoIAlign；由于在对图像的大小尺度处理上Faster R-CNN模型的RoIPooling层首先要将精确矩形框坐标的浮点数量化为整数，然后将量化后的精确矩形框分为量化的空间单元；量化操作通过不断计算[x/s]来调整坐标x，其中[]代表取整，s为特征图的步长，空间单元的量化也相似；因此，RoIPooling层对精确矩形框的两次量化使得原精确矩形框与提取出来的特征存在大的误差；为了避免RoIPooling层对分割精确性的影响，将原来Faster R-CNN模型的RoIPooling层改进为MaskR-CNN模型的池化层RoIAlign，该RoIAlign将去除RoIPooling层的硬量化，更加注重输入与提取出的特征间的像素对齐；为了避免精确矩形框边界因为单元的量化导致的误差，RoIAlign在精确矩形框的浮点数坐标在量化操作上并不需要转换为整数，每个精确矩形框单元中所占有的特征的准确位置使用双线性插值来进行计算，最后计算均值和最大值以得到最终结果；

RoIAlign的输入是初始图像的高维特征图和包含候选框的初始图像，RoIAlign将调整固定初始图像上候选框的大小，并将其映射到初始图像的高维特征图，形成候选框特征图并输出；

所述分类层为Faster R-CNN模型的分类层classifier，分类层包含全连接层和区域边框回归层；将候选框特征图输入该分类层，分类层中的全连接层将使用softmax计算并判断候选框是否为猪只，分类层中的区域边框回归层对候选框进行边框修正操作，最终输出更加精确的目标检测框；

将分类层输出的目标检测框与初始图像的标注框进行结合计算误差函数，然后通过优化算法反向梯度传播修改各层参数训练神经网络，其中区域建议网络的损失函数及分类层的全连接层和区域边框回归层的损失函数分别为：

区域建议网络的损失函数：

其中，L({p_i},{t_i})表示区域建议网络的损失函数，N_cls表示初始图像上被用于训练矩形框的数量，i是在初始图像上矩形框的索引，p_i则是该矩形框为前景的预测几率，是标注的猪只边界框的概率，如果矩形框是正样本，是1，否则是0，N_reg表示矩形框位置的个数，t_i是一个修正矩形框的四维向量，而是将正样本矩形框修正为标注的猪只边界框的真值，分类的误差函数L_cls是包括前景和背景两个类别的对数误差，且而回归误差函数是R定义为表明回归误差只有当矩形框为正样本时才有效，否则为0，而λ为两种误差的平衡权重，用以优化训练；

分类层的全连接层和区域边框回归层的损失函数：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v)

式中，L(p,u,t^u,v)表示分类层的全连接层和区域边框回归层的损失函数，p为感兴趣区域预测为猪只的概率，u为猪只类别标签，t^u为预测的回归修正值，v为真实的回归修正值；即负样本不参与训练；L_cls为对数误差函数，即L_CLS(p,u)＝-logp_u，L_loc仍然是smooth_L1函数，smooth_L1函数定义为