[发明专利]视频序列中的三维人脸位置和姿态跟踪的方法

摘要

本发明提出了一种视频序列中的三维人脸位置和姿态跟踪的方法，该方法使用基于主成份分析的可变形三维网格模型，通过最小化网格模型上的关键点与输入图像上的对应关键点的距离，使模型拟合使用者的头部形状。利用三维模型以及初始化阶段获得的人脸纹理，可以渲染出不同姿态下的人脸图像。在渲染出的图像中选择特征点，并在输入图像上搜索对应位置，使用随机采样方式去除特征匹配错误，然后根据特征点之间的对应关系估计模型姿态变化参数，实现假设的状态更新。使用平均归一化互相关计算渲染图像与实际图像的距离，实现假设权重的计算，获得跟踪结果。实验表明，这种跟踪方法可以有效地对视频中的三维头部姿态进行跟踪。

主权项

一种视频序列中的三维人脸位置和姿态跟踪的方法，其特征在于，包括以下步骤：步骤S1：对输入视频序列图像上人脸及人脸关键点位置进行自动检测和定位，使用检测和定位得到的每个关键点在图像中的位置，对三维可变形人脸网格模型的形状、位置和姿态参数进行初始化；步骤S2：在对三维可变形人脸网格模型的形状、位置和姿态参数进行初始化的同时获得人脸纹理为人脸正面纹理，在跟踪过程中获得人脸纹理为人脸侧面纹理；步骤S3：使用三维可变形人脸网格模型和人脸纹理渲染出不同姿态参数条件下的头部外观图像，在头部外观图像上选择角点特征，并将角点特征与输入视频序列图像进行特征匹配，得到每帧图像中的每个特征点在后一帧图像中的位置；步骤S4：根据前后连续两帧间特征点位置匹配的结果计算头部位置和姿态变化；在所有的特征匹配结果中，使用随机采样方式产生不同位置和姿态变化假设，并对假设进行选择，从而去除可能存在的误匹配；然后，采用加入不同的随机噪声的方法，获得大量头部位置和姿态参数的假设；步骤S5：使用基于外观的方法对各种头部位置和姿态参数假设进行评价，获得具有最大后验概率的参数；步骤S6：对各种头部位置和姿态参数假设，根据评价的具有最大后验概率的参数进行重采样，去掉后验概率较低的假设，增加后验概率较高的假设的个数，完成三维人脸位置和姿态跟踪。