[发明专利]一种基于多特征融合的人脸跟踪方法及系统

说明书

本发明涉及智能视频图像处理领域，公开了一种基于多特征融合的人脸跟踪方法及系统，包括获取当前帧目标图像；利用卡尔曼滤波方法预测在当前帧目标图像中所有已存人脸轨迹的人脸轨迹框位置坐标；判断当前帧目标图像的帧号是否是检测间隔的倍数；判断是否检测到人脸；利用特征提取算法对人脸矩形框进行特征提取，获得所有人脸的人脸特征；进行人脸特征匹配；对匹配失败的人脸和匹配失败的人脸轨迹进行二次匹配；更新卡尔曼滤波器和轨迹信息；判断是否结束人脸跟踪。本发明通过设置人脸检测间隔使系统处理速度快；通过融合深度特征和HOG特征使匹配准确性高；特征匹配和IOU匹配配合使用，减少了人脸ID切换，保证了跟踪的持续性，提高了跟踪的准确性。

技术领域

本发明涉及智能视频图像处理领域，具体地涉及一种基于多特征融合的人脸跟踪方法及系统。

背景技术

智能监控系统配合人脸识别系统能够完成危险人员的实时排查和疑犯的快速追踪等任务。系统通过人脸跟踪和抓拍得到人脸图像，送入人脸识别模块完成人脸比对。而由于监控场景复杂多变，人脸在画面中持续运动，常常会出现光照变化、模糊、遮挡、人脸姿态变化等情况，使得人脸跟踪轨迹难以保持，同一个人的人脸ID发生切换，从而抓拍到的人脸图片重复数多，影响系统的处理效率。

比如，国家专利公开文献CN110210285A，公开了一种“人脸跟踪方法、人脸跟踪装置以及计算机存储介质”，包括：获取目标图像；分析目标图像，获取目标图像中待测人脸的特征信息及位置信息；根据待测人脸的位置信息确定位置搜索范围；判断是否存在位置信息处于位置搜索范围内的人脸模板；若存在，则根据待测人脸的特征信息，检测位置搜索范围内与待测人脸匹配的人脸模板；将匹配的人脸模板的跟踪ID作为待测人脸的跟踪ID。该发明结合位置信息和特征信息来匹配人脸，能够保持长时序的跟踪准确性。但该发明对每一帧图像都进行人脸检测和特征提取，耗时较大，在匹配时仅采用深度特征在一定位置范围内进行搜索匹配，很可能产生漏匹配现象，造成ID切换，影响跟踪的准确性。

因此，如何提高人脸跟踪算法的速度、准确性，同时保持跟踪轨迹不中断是本领域亟待解决的问题。

发明内容

本发明提供一种基于多特征融合的人脸跟踪方法及系统，从而解决现有技术的上述问题。

第一方面，本发明提供了一种基于多特征融合的人脸跟踪方法，包括如下步骤：

S1)获取视频或图片流的当前帧目标图像；

S2)获取所有已存人脸轨迹，利用卡尔曼滤波方法预测在当前帧目标图像中所有已存人脸轨迹的人脸轨迹框位置坐标，每一个已存人脸轨迹对应有一个卡尔曼滤波器，一个卡尔曼滤波器对应预测出一个已存人脸轨迹的人脸轨迹框位置坐标；

S3)设置检测间隔为d，判断当前帧目标图像的帧号是否是检测间隔d的倍数，若是，则进入步骤S4)；若否,则将当前帧目标图像的帧号加1，进入步骤S9)；

S4)对当前帧目标图像进行人脸检测，判断是否在所述当前帧目标图像中检测到人脸，若是，则输出与每个人脸相对应的人脸矩形框坐标，进入步骤S5)；若否，则标记所有已存人脸轨迹匹配失败，将当前帧目标图像的帧号加1，进入步骤S9)；

S5)根据人脸矩形框坐标获得与每个人脸相对应的人脸矩形框，利用特征提取算法对所述人脸矩形框进行特征提取，获得在当前帧目标图像中所有人脸的人脸特征；

S6)获取所有已存人脸轨迹的特征池，每一个已存人脸轨迹的特征池包括若干个历史人脸特征，将步骤S5)中所有人脸的人脸特征分别与所述所有已存人脸轨迹的特征池进行人脸特征匹配，获得第一人脸特征匹配结果；

S7)通过计算IOU值对所述第一人脸特征匹配结果中匹配失败的人脸和匹配失败的人脸轨迹进行二次匹配，获得第二人脸特征匹配结果；