[发明专利]一种基于深度学习的人脸检测与跟踪方法

权利要求书

1.一种基于深度学习的人脸检测与跟踪方法，包括以下步骤：

①人脸检测(101)

进行该帧图像数据的人脸检测任务，对于检测到的目标信息，包括人脸矩形框、人脸类别和人脸特征点，形成队列输出；

②人脸跟踪(102)

将人脸检测得到的结果队列进行匹配和更新，完成人脸跟踪的任务；

③人脸判定(103)

对跟踪列表中的最新跟踪人脸进行人脸正脸判定，如满足一定条件即可作为检测到的高质量人脸进行输出；

所述的步骤①的流程如下：

A、使用离线训练的P-net模型进行检测(201)；

B、判断是否有检测目标(202)，是则进入步骤C，否则跳转到步骤F；

C、使用离线训练的R-net模型进行检测(203)；

D、判断是否有检测目标(204)，是则进入步骤E，否则跳转到步骤F；

判断是否有检测到的目标，包括人脸和后脑勺；

E、使用离线训练的O-net模型进行检测(205)；

F、输出检测到的目标信息进入人脸跟踪(206)；

所述的步骤②的流程如下：

a、将检测到的目标信息压入待匹配目标队列(301)；

b、待匹配目标队列与跟踪目标队列进行IoU匹配结果计算(302)；

c、判定待匹配目标是否为新目标(303)，是则进入步骤d，否则跳转到步骤e；

d、根据待匹配目标信息新建一个kcf对象并初始化(304)

新建一个kcf对象对新目标进行跟踪并根据新目标信息初始化此对象，进入步骤j；

e、判定跟踪目标是否找到相应的待检测目标(305)，是则进入步骤i，否则跳转到步骤f；

f、kcf对象跟踪目标丢失次数加1(306)

g、跟踪目标丢失次数是否大于阈值(307)，是则进入步骤h，否则跳转到步骤j；

h、删除该kcf跟踪对象(308)；

i、使用待检测目标信息对kcf跟踪框进行更新(309)；

j、更新kcf跟踪目标队列(310)；

所述的步骤③的流程如下：

ⅰ、从跟踪目标队列提取目标信息(401)；

ⅱ、跟踪目标标签判定是否为人脸(402)，是则进入步骤ⅲ，否则跳转到步骤ⅶ；

ⅲ、计算10维特征向量(403)；

ⅴ、判定是否为正脸(405)，是则进入步骤ⅵ，否则跳转到步骤ⅶ；

ⅵ、进行人脸输出(406)；

ⅶ、继续目标跟踪(407)；

其特征在于：

在步骤①中所使用的P-net模型为将MTCNN算法中P-net网络结构中conv4-1层的输出个数num_output由2变为3，即添加一类目标后脑勺，同时修改交叉熵损失为softmax损失，加入训练样本和验证样本进行离线训练得到离线训练后的P-net模型；

在步骤①中所使用的R-net模型为将MTCNN算法中R-net网络结构中conv5-1层的输出个数num_output由2改为3，即添加一类目标后脑勺，同时修改交叉熵损失为softmax损失，加入训练和验证样本进行离线训练得到离线训练的R-net模型；

在步骤①中所使用的O-net模型为将MTCNN算法中的O-net网络结构中conv6-1层的输出个数num_output由2变为3，即添加一类目标后脑勺，同时修改交叉熵损失为softmax损失，加入训练样本和验证样本进行离线训练得到离线训练的O-net模型；

在步骤②中使用待检测目标信息，即目标矩形框对kcf在线模型进行更新，无论目标是人脸或后脑勺，从而使得跟踪过程不会由于人头转动而中断；

在步骤③中人脸特征向量的选取为：根据人脸的左眼中心点A、右眼中心点B、鼻尖点C、左嘴角点D、右嘴角点E五个特征点和人脸图片高度H及宽度W提取10维特征向量，特征值计算如下：

1)[左眼边距(XA)-右眼边距(W-XB)]的绝对值除以[左眼边距(XA)+右眼边距(W-XB)]；

2)[上眼边距(YA+YB)-下嘴边距(2*H-YD-YE)]的绝对值除以[上眼边距(YA+YB)+下嘴边距(2*H-YD-YE)]；

3)[瞳孔距(XB-XA)+嘴角距(XE-XD)]除以[左眼到左嘴角的垂直距离(YD-YA)+右眼到右嘴角的垂直距离(YE-YB)]；

4)[瞳孔距(XB-XA)]除以宽度W；

5)[嘴角距(XE-XD)]除以宽度W；

6)左眼到左嘴角的垂直距离(YD-YA)除以高度H；

7)右眼到右嘴角的垂直距离(YD-YA)除以高度H；

8)[鼻尖YC-瞳孔垂直中心(YA+YB)/2]除以[嘴角垂直中心点到鼻尖的垂直距离(YD+YE)/2-YC)]；

9)[鼻尖到左眼和左嘴角的水平中心点水平距离(XC-(XA+XD)/2)]除以右眼和右嘴角的水平中心点到鼻尖的水平距离[(XB+XE)/2-XC]；

10)宽度W/高度H。