[发明专利]一种基于多特征融合的人脸跟踪方法及系统

权利要求书

1.一种基于多特征融合的人脸跟踪方法，其特征在于，包括如下步骤：

S1)获取视频或图片流的当前帧目标图像；

S2)获取所有已存人脸轨迹，利用卡尔曼滤波方法预测在当前帧目标图像中所有已存人脸轨迹的人脸轨迹框位置坐标，每一个已存人脸轨迹对应有一个卡尔曼滤波器，一个卡尔曼滤波器对应预测出一个已存人脸轨迹的人脸轨迹框位置坐标；

S3)设置检测间隔为d，判断当前帧目标图像的帧号是否是检测间隔d的倍数，若是，则进入步骤S4)；若否,则将当前帧目标图像的帧号加1，进入步骤S9)；

S4)对当前帧目标图像进行人脸检测，判断是否在所述当前帧目标图像中检测到人脸，若是，则输出与每个人脸相对应的人脸矩形框坐标，进入步骤S5)；若否，则标记所有已存人脸轨迹匹配失败，将当前帧目标图像的帧号加1，进入步骤S9)；

S5)根据人脸矩形框坐标获得与每个人脸相对应的人脸矩形框，基于深度特征提取算法和HOG特征提取算法对所述人脸矩形框进行特征提取，获得在当前帧目标图像中所有人脸的人脸特征；

S6)获取所有已存人脸轨迹的特征池，每一个已存人脸轨迹的特征池包括若干个历史人脸特征，将步骤S5)中所有人脸的人脸特征分别与所述所有已存人脸轨迹的特征池进行人脸特征匹配，获得第一人脸特征匹配结果；

S7)通过计算IOU值对所述第一人脸特征匹配结果中匹配失败的人脸和匹配失败的人脸轨迹进行二次匹配，获得第二人脸特征匹配结果；

S8)根据所述第一人脸特征匹配结果和所述第二人脸特征匹配结果对卡尔曼滤波器和轨迹信息进行更新，将当前帧目标图像的帧号加1，进入步骤S9)；

S9)判断是否结束人脸跟踪，若是，则结束人脸跟踪；若否，则返回步骤S1)。

2.根据权利要求1所述的基于多特征融合的人脸跟踪方法，其特征在于，在步骤S4)中，利用人脸检测算法对当前帧目标图像进行人脸检测，输出与每个人脸相对应的人脸矩形框坐标的同时输出与每个人脸相对应的人脸置信度，设置置信度阈值，删除人脸置信度低于置信度阈值的人脸矩形框。

3.根据权利要求1所述的基于多特征融合的人脸跟踪方法，其特征在于，在步骤S4)中，标记所有已存人脸轨迹匹配失败，还包括获取所有匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数，设置匹配失败阈值q，分别判断匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数是否不小于匹配失败阈值q，若是，则删除所有匹配失败的已存人脸轨迹中轨迹连续匹配失败帧数不小于匹配失败阈值q的已存人脸轨迹；若否，则将所有匹配失败的已存人脸轨迹中轨迹连续匹配失败帧数小于匹配失败阈值q的已存人脸轨迹的轨迹连续匹配失败帧数加1。

4.根据权利要求1或3所述的基于多特征融合的人脸跟踪方法，其特征在于，在步骤S5)中，根据人脸矩形框坐标获得与每个人脸相对应的人脸矩形框，利用特征提取算法对所述人脸矩形框进行特征提取，获得在当前帧目标图像中各个人脸的人脸特征，在当前帧目标图像中检测到的人脸总数为n，包括以下步骤：

S51)根据第i个人脸矩形框坐标计算长和宽，i≤n，根据计算结果对第i个人脸矩形框坐标进行修改，获得正方形人脸矩形框，将所述正方形人脸矩形框作为与第i个人脸相对应的人脸矩形框，将所述正方形人脸矩形框缩放到预测尺寸大小，获得缩放后的第i个人脸矩形框；

S52)建立已训练好的mobi lefacenet网络，将缩放后的第i个人脸矩形框输入至已训练好的mobi lefacenet网络，通过所述已训练好的mobi lefacenet网络输出第i个人脸矩形框的深度特征，对所述第i个人脸矩形框的深度特征进行归一化处理，获得归一化处理后的第i个人脸矩形框的深度特征；

S53)利用HOG特征提取算法获得第i个人脸矩形框的HOG特征,对所述第i个人脸矩形框的HOG特征进行归一化处理，获得归一化处理后的第i个人脸矩形框的HOG特征；

S54)将步骤S52)中的归一化处理后的第i个人脸矩形框的深度特征与步骤S53)中的归一化处理后的第i个人脸矩形框的HOG特征进行顺序拼接，获得第i个人脸的人脸特征；

S55)依次重复步骤S51)至步骤S54)，获得当前帧目标图像中所有人脸的人脸特征。