[发明专利]一种基于神经网络和光流法的人脸追踪系统和追踪方法

权利要求书

1.一种基于深度神经网络和光流法的超实时人脸稳定追踪系统，其特征在于，所述追踪系统包含三个模块：人脸检测模块、人脸追踪模块和人脸验证模块；

所述人脸检测模块负责在当前画面帧中检测人脸，其由三个深度神经网络组成，分别包括子网络一、子网络二和子网络三；

所述人脸检测模块的检测步骤如下：

1)所述子网络一负责找出当前输入图片中可能是人脸的感兴趣区域，经过非极大值抑制算法过滤掉部分覆盖超过阈值0.7的感兴趣区域后进入子网络二；

2)所述子网络二进行二分类，初略判断每一个感兴趣区域是否为人脸；最后，将子网络二分类为正样本的感兴趣区域传入子网络三；

3)所述子网格三再进行一次二分类，选出最终的结果；

4)如果当前画面帧没有找到人脸，则重复步骤1)-3)；

5)如果找到当前帧人脸，则从第二帧开始进行人脸追踪程序；

所述人脸追踪模块可以确定出当前帧人脸框的最终位置；

所述人脸验证模块能够将所述人脸追踪模块追踪得到的图像输入本模块，输出二分类结果，判断当前图像为人脸的置信度。

2.根据权利要求1所述的一种基于深度神经网络和光流法的超实时人脸稳定追踪系统，其特征在于，

所述子网络一包括：一个输入层，四个卷积层和一个最大池化层；

所述子网络二包括：一个输入层，三个卷积层，两个最大池化层和两个全连接层；

所述子网络三包括：一个输入层，三个卷积层，两个最大池化层和两个全连接层。

3.根据权利要求1-2任一项所述的一种基于深度神经网络和光流法的超实时人脸稳定追踪系统，其特征在于，所述人脸检测模块包括一个子网络，所述子网格包括：一个输入层，五个卷积层和两个最大池化层。

4.根据权利要求1-3任一项所述的一种基于深度神经网络和光流法的超实时人脸稳定追踪系统，其特征在于，

所述人脸追踪模块确定当前帧人脸框最终位置的具体步骤如下：

1)在上一帧人脸框位置上，平均的确定10×10个特征点，记为其中N为特征点个数，等于100；

2)通过金字塔Lucas-Kanade法，正向确定上一帧特征点P^l到当前帧的光流运动轨迹，记为如果此步骤未成功得到特征点光流运动轨迹，则为追踪失败，程序回到人脸检测步骤，从新开始人脸检测；

3)根据P^l和P^f，得到上一帧画面和当前帧画面的人脸框位置；对两张人脸图片进行模板匹配，计算出每一个像素点的相似度；找到特征点的相似度，记录所有大于中位数的特征点的索引；

4)再次通过金字塔Lucas-Kanade法，反向确定当前帧特征点到上一帧的光流运动轨迹，记为

5)P^l和P^b都是在上一帧图像中，通过不同方法得到的特征点；我们通过公式：计算得到两组特征点一一对应的欧几里得距离，记录所有小于中位数的特征点的索引；

6)基于步骤3)和5)得到的索引，过滤P^l和P^f得到和如果其中任意一个列表长度为0，则追踪失败，程序回到人脸检测步骤，从新开始人脸检测；

7)如果和长度均不为0，通过公式：计算得到上一帧人脸到当前帧人脸特征点一一对应的偏移距离，其中位数即为上一帧人脸框到当前帧人脸框所有像素点坐标的偏移量；上一帧人脸框左上角点坐标值加上偏移量，得到当前帧人脸框左上角点坐标值；

8)分别计算和内部所有点欧几里得距离；将当前帧特征点距离除以上一帧特征点距离，得到所有特征点光流运动的绝对距离比值，其中位数即为上一帧人脸框到当前帧人脸框的宽高尺度变化量；将上一帧人脸框宽高乘以该尺度变化量，得到当前帧人脸框宽高值；

9)通过步骤7)和8)，确定出当前帧人脸框的最终位置。