[发明专利]一种人脸跟踪方法和相机

说明书

本发明公开一种人脸跟踪方法和相机。本发明的方法包括：获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。本发明能够实现帧间的人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种人脸跟踪方法和相机。

背景技术

人脸对齐是在图像中检测人脸并标注每个特定的点位。人脸对齐技术常用于视频处理，例如直播、短视频等应用。

人脸对齐的实时跟踪问题对视频的处理有很大的帮助，然而目前对人脸对齐的研究比较热衷，对人脸对齐的实时跟踪研究较少，而且多数跟踪算法所确定的点位，在帧间存在抖动，使得跟踪结果存在明显的失真。

发明内容

本发明提供了一种人脸跟踪方法和相机，以至少部分地解决上述问题。

第一方面，本发明提供了一种人脸跟踪方法，包括：获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中像素位置的概率；利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。

在一些实施例中，利用所述面部特征点在第一帧图像的像素位置，获得所述图像帧序列中第二帧图像的面部特征点的初始位置，包括：利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。

在一些实施例中，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，包括：根据获取所述第二帧图像中面部特征点的初始位置；其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dx_mon为所述预设松弛量。

在一些实施例中，利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测，还包括：在未检测到所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。

在一些实施例中，获取所述图像帧序列中第一帧图像的面部特征点的初始位置，包括：从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。

在一些实施例中，从预先构建的平均脸图像上提取面部特征点，包括：获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。