[发明专利]一种智能挖掘机的人脸识别方法

权利要求书

1.一种智能挖掘机的人脸识别方法，该方法基于一种人脸识别系统实现，所述的人脸识别系统包括视频采集模块、人脸检测模块、人脸识别模块、测距模块、执行模块和总控模块；其中，视频采集模块采用双目摄像机进行视频采集，分布安装于智能挖掘机的机身，以全方位对人脸进行图像采集；人脸检测模块利用人脸检测模型检测所采集的图像中是否有人脸存在；人脸识别模块利用人脸识别模型对进入施工区域的人员进行判别，来识别是否为工作人员；测距模块采用双目视觉的算法，输出人脸与智能挖掘机的距离信息，供智能挖掘机进行判断是否应该避让；执行模块为智能挖掘机的行进控制系统，执行避让动作，并响起警报，提示人员远离施工区域；总控模块用于协调其它模块之间的运行；

其特征在于，包括以下步骤：

步骤一、图像采集：利用视频采集模块中不同位置的双目摄像机实时采集图像；

步骤二、人脸检测：利用训练好的人脸检测模型进行人脸检测，当检测到步骤一所采集图像中含有人脸时，按照人脸检测模型所检测出的人脸位置裁剪人脸所在区域，将该区域部分的图像输入到人脸识别模块中进行识别；同时将步骤一所采集图像输入到测距模块中进行测距；

步骤三、人脸识别：接收人脸检测模块传来的人脸所在区域的图像，并对人脸图像进行对齐操作；将对齐后的人脸图像输入训练好的人脸识别模型中进行人脸识别，得到人脸的N维特征向量；计算所得N维特征向量与数据库中人脸向量的相似度；当相似度大于等于某阈值时，则判定为此人属于工作人员，反之则否；所述的数据库为预先采集的实际工作人员的人脸图像；所述的相似度匹配方法为欧氏距离或余弦距离；

步骤四、距离计算：将检测到的人脸采用半全局块匹配SGBM算法对人脸区域进行双目匹配，计算人脸相对无人挖掘机的位置坐标；

步骤五、当识别为工作人员且距离挖掘机小于安全距离时，总控模块控制执行模块执行避让动作，并语音提醒工作人员保持安全距离；当识别为工作人员且距离挖掘机大于安全距离时，无需进行避让操作；当识别为非工作人员且距离挖掘机小于安全距离时，总控模块控制执行模块进行避让，并语音提醒此人保持安全距离，同时将此人图像传回控制室，以提醒工作人员有外来人员进入施工现场；当识别为非工作人员且距离挖掘机大于安全距离时，则只需将此人图像传回控制室提醒工作人员注意即可；

所述的人脸检测模型训练过程如下：

(2.1)数据采集：采集不同场景下包含不同人物在内的图像，作为初始数据；对初始数据添加标签及归一化操作；

(2.2)搭建两阶段级联卷积神经网络：第一阶段网络共四层，其中第一层网络为全卷积神经网络；第二阶段网络共五层，其中最后一层为全连接层；

(2.3)构建第一阶段网络训练数据集：将初始数据的图像通过交并比IOU裁剪保存，分为人脸区、非人脸区、部分人脸区，将图像中与真实边框的交并比大于0.7的边框标记为人脸区、介于0.3～0.7之间记为部分人脸区、小于0.3记为非人脸区，并将图像大小设为(15，15)；

(2.4)第一阶段网络训练：将步骤(2.3)裁剪的数据集归一化，将归一化后的数据输入第一阶段网络进行前向传播，并对输出结果进行训练；

第一阶段网络中的分类损失函数为交叉熵分类损失函数：

其中，表示分类损失，y_i表示图像是否为人脸，y_i∈(0,1)，p_i表示预测为人脸的概率；i代表不同的人脸；

第一阶段网络中的回归损失函数采用欧式距离平方损失函数：

其中，表示回归损失，为归一化的人脸框坐标，为预测的人脸框坐标；

第一阶段网络的输出结果分为：图像是否为人脸、图像人脸关键点位置、图像与真实人脸框的回归量；

(2.5)构建第二阶段网络训练数据集：训练数据集包括第一阶段网络错误分类的图像，以及重新以(1.3)方式随机裁剪获得的；将所有训练数据集的图像大小设为(30，30)；

(2.6)第二阶段网络训练：先对训练数据集的数据进行归一化操作，再利用Adam梯度下降算法对第二阶段网络进行训练，其中分类损失函数和回归损失函数与第一阶段网络训练的相同；

所述的人脸识别模型的训练过程如下：

(3.1)训练人脸识别模型时采用的训练集为三元人脸对(A,P,N)，其中A代表目标人脸，P代表与目标人脸为同一人的不同图像，N为不同于目标人脸的图像，将这些三元人脸对设为(160,160)的灰度图像；

(3.2)搭建14层的卷积神经网络作为主干网络，卷积神经网络包括卷积、池化、relu操作，卷积层采用3*3卷积方式，池化方式为2*2最大池化，输出通道种类分别为64、128、256、512层，为了防止过拟合，在卷积神经网络结尾添加dropout操作，提高模型的泛化能力；卷积层权重的初始化方式为截断的正态分布；卷积神经网络输出为三元人脸对中代表每张图像特征向量的N维向量，对每张图像特征向量进行正则化，挑选出人脸图像中同一人脸距离大于不同人脸距离的三元人脸对作为损失，反向传播进行参数优化；正则化计算公式为：

其中，分别为正则化的A、P、N的N维向量；

(2.3)利用动量梯度下降算法优化卷积神经网络，优化完成后，将模型权重保存，即可供挖掘机人脸识别模块调用。