[发明专利]一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法

权利要求书

1.一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法，其特征在于，包括以下步骤：

S1，采集牛场奶牛图片，构建奶牛图像数据集；

S2，采用图片处理软件对图像数据集中的奶牛图片进行人工标注，在奶牛图片上标注出面部检测框和关键点信息；

S3，对标注后的奶牛图像数据集进行数据变换与增强，并将进行数据变换与增强后的数据集划分为训练集和测试集；

S4，构建卷积神经网络，将步骤S3得到的训练集数据输入构建好的卷积神经网络进行训练，得到牛脸检测与关键点识别模型；

所述卷积神经网络的训练过程为：

S401，采用所述骨干网络对输入的512×512的图像进行特征提取，并将提取出的特征图送入头部网络，得到多个特征不同的特征图；

S402，使用SSD的锚框生成方法对每个特征图的像素点生成对应的锚框，使用最大IOU分配方法，为每个锚框分配对应的真实目标检测框；

S403，计算用于监督学习的真实标签，所述真实标签包括分类标签、检测框偏移量计算标签和关键点偏移量计算标签；

S404，通过计算锚框与其对应的真实目标检测框的IOU，为每一个锚框分配正或负分类标签；

S405，采用SSD的检测框偏移量计算方法，计算出锚框与真实目标框的偏移量；

S406，定义锚关键点的具体位置，计算锚关键点与真实目标关键点偏移量；

定义锚关键点的坐标为(x′_i，y′_i)，其中i∈(1，2，…，5)，表示左眼、右眼、左耳、右耳和鼻子五个关键点；锚关键点与真实目标关键点偏移量为：

其中，(x_i，y_i)表示真实目标关键点的坐标；w和h分别表示锚框的宽和高；

S5，将步骤S3得到的测试集数据输入训练好的识别模型，输出牛脸检测框和牛脸关键点信息。

2.根据权利要求1所述的一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法，其特征在于，步骤S1中，采集不同姿态、不同角度、不同场景及其它情况下的奶牛图片；

所述姿态包括：站立、坐卧和行走；

所述角度包括：正脸和侧脸；

所述场景包括：棚内和棚外；

其它情况包括：重合遮挡、有机器或人存在、顺光和逆光。

3.根据权利要求1所述的一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法，其特征在于，步骤S2中，所述面部检测框采用左上角和右下角两个顶点形成的矩形框构成；所述关键点包括：左眼中心点、右眼中心点、左耳中心点、右耳中心点和鼻子中心点。

4.根据权利要求1所述的一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法，其特征在于，步骤S3中，所述数据变换与增强包括：

图像亮度、饱和度、色调随机变换；

随机截取图像上不同大小的牛脸图像；

图像归一化，将所有图像的大小统一变换为512×512；

随机水平镜像。

5.根据权利要求1所述的一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法，其特征在于，步骤S3中，所述训练集和测试集的比例为7：3。

6.根据权利要求1所述的一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法，其特征在于，步骤S4中，所述卷积神经网络包括骨干网络和头部网络；

所述骨干网络采用VGG-16深度学习网络和额外卷积神经网络，对输入的512×512的图像进行特征提取，并将提取出的特征图送入头部网络；

所述头部网络包括三条分支，第一条分支用于牛脸区域分类，第二条分支用于牛脸区域框偏移量回归，第三条分支用于牛脸的关键点偏移量回归。

7.根据权利要求1所述的一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法，其特征在于，锚框偏移量回归分支和关键点偏移量回归分支的损失函数均采用smoothL1损失函数；牛脸分类分支的损失函数如下：

其中，M表示所有正样本的个数，N表示所有负样本的个数，N′表示在所有负样本中选取最困难的负样本个数，l_m表示第m个正样本损失，l_n表示第n个负样本损失；top₁(L₊)表示损失函数值最大的正样本损失。