[发明专利]一种人脸跟踪方法和相机

权利要求书

1.一种人脸跟踪方法，其特征在于，包括：

获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置；

将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中像素位置的概率；

利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪，具体是：根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获得所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。

2.根据权利要求1所述的方法，其特征在于，在利用所述面部特征点在第一帧图像的像素位置，获得所述图像帧序列中第二帧图像的面部特征点的初始位置之前，还包括：

利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；

在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置。

3.根据权利要求2所述的方法，其特征在于，所述根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，包括：

根据获取所述第二帧图像中面部特征点的初始位置；

其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dx_mon为所述预设松弛量。

4.根据权利要求2所述的方法，其特征在于，所述利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测，还包括：

在未检测到所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点；

将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。

5.根据权利要求1所述的方法，其特征在于，所述获取所述图像帧序列中第一帧图像的面部特征点的初始位置，包括：

从预先构建的平均脸图像上提取面部特征点；

将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。

6.根据权利要求4或5所述的方法，其特征在于，所述从预先构建的平均脸图像上提取面部特征点，包括：

获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；

根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；

根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。

7.一种相机，其特征在于，包括：摄像头和处理器；

所述摄像头，采集用户脸部的图像帧序列并发送给所述处理器；

所述处理器，获取所述图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率；利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，具体是：根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获得所述第二帧图像中面部特征点的初始位置，以实现人脸跟踪，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。