[发明专利]三维人脸模型的建模方法、人脸跟踪方法以及设备

说明书

提供一种三维人脸模型的建模方法、人脸跟踪方法以及设备。提供一种三维人脸模型的建模方法，包括：将预设的标准三维人脸模型作为工作模型，并且将指定起始帧设为第一帧，基于工作模型从连续输入的多个视频帧的指定起始帧开始进行人脸跟踪，从跟踪的视频帧提取人脸特征点、表情参数以及头部姿态参数，并且根据预定条件生成与预定数目的视频帧相应的跟踪结果；基于生成的跟踪结果更新工作模型，其中，如果在更新工作模型时，确定更新的工作模型的外貌参数与更新前的外貌参数之差不小于预定的限值，继续对后面的视频帧继续执行人脸跟踪，直到完成全部视频帧的跟踪；输出工作模型。

技术领域

本申请涉及一种三维人脸模型的建模方法、人脸跟踪方法以及用于执行所述建模方法和人脸跟踪方法的设备，尤其涉及一种从连续输入的人脸视频帧并行地进行人脸跟踪和三维人脸模型的建模，从而提供更接近用户人脸的三维人脸模型，以及/或者输出高精度的人脸表情信息。

背景技术

以连续视频为输入，现有人脸跟踪/建模技术能够输出不同复杂程度的结果，例如：表情参数的类别以及其强度、人脸二维形状、低解析度的人脸三维形状或高解析度的人脸三维形状。

人脸跟踪/建模的基础技术大体分为三类：基于识别的技术、基于拟合的技术和基于重建的技术。

但是，现有的人脸跟踪/建模技术存在以下几个问题：首先，一些技术需要依赖额外的设备，如双目摄像机，深度摄像机；其次，大部分技术需要用户的配合，例如手工标记关键点、使用前进行用户注册、在建模时保持无表情或者固定表情等；此外，一些技术不能输出高解析度的跟踪结果，也不能够避免外貌、姿态对表情参数精度的影响。

发明内容

本发明的目的在于提供一种个性化的三维人脸模型的建模方法，从连续输入的人脸视频帧迭代地进行人脸跟踪，并且在人脸跟踪结果的基础上更新三维人脸模型，从而提供更接近用户人脸的三维人脸模型。

本发明的另一目的在于提供一种人脸跟踪方法，从连续输入的人脸视频帧迭代地进行人脸跟踪，基于跟踪结果更新三维人脸模型，从而输出高精度的人脸表情信息。

根据本发明的一方面，提供一种三维人脸模型的建模方法，所述三维人脸模型包括三维形状、外貌参数、表情参数以及头部姿态的信息，所述建模方法包括以下步骤：将预设的标准三维人脸模型作为工作模型，并且将指定起始帧设为第一帧，执行如下操作：a)基于工作模型从连续输入的多个视频帧的指定起始帧开始进行人脸跟踪，从跟踪的视频帧提取人脸特征点、表情参数以及头部姿态参数，并且根据预定条件生成与预定数目的视频帧相应的跟踪结果，所述跟踪结果包括跟踪的各视频帧以及从跟踪的各视频帧提取的人脸特征点、表情参数以及头部姿态参数；b)基于生成的跟踪结果更新工作模型，其中，如果在更新工作模型时，确定更新的工作模型的外貌参数与更新前的外貌参数之差不小于预定的限值，并且所述预定数目的视频帧后的视频帧不是连续输入的多个视频帧中的最后一帧，则将所述预定数目的视频帧后的第一个视频帧作为指定起始帧，执行步骤a)；和c)输出工作模型。

所述三维人脸模型可被表示为

其中，S为三维形状，a为外貌分量，e为表情分量，q为头部姿态，T(S,q)表示将三维形状S根据头部姿态q进行旋转和/或平移的函数。

所述标准三维人脸模型可包括：平均形状S⁰、外貌分量表情分量以及标准头部姿态q⁰。其中，i＝1:N，表示人脸外貌的一种变化，j＝1:M，表示人脸表情的一种变化。

可预先在线下使用一系列三维人脸数据训练出所述标准三维人脸模型。

可并行地执行步骤a)和步骤b)。