[发明专利]实时面部动画的在线建模

权利要求书

1.一种用于实时面部动画的方法，包括：

提供包括多个融合变形的动态表情模型；

从在时间序列中的多个帧接收跟踪数据，所述跟踪数据与用户的面部表情对应；

基于来自所述多个帧的每个帧的所述跟踪数据来估计跟踪参数，所述跟踪参数与所述融合变形的一个或更多个权重值对应；以及

基于所述跟踪参数来改进所述动态表情模型。

2.根据权利要求1所述的方法，其中基于在所述时间序列中的所述多个帧的每个帧，重复估计跟踪参数和改进所述动态表情模型。

3.根据权利要求1所述的方法，进一步包括：

对于随所述多个帧之后捕获的帧，基于改进的动态表情模型来估计更新的跟踪参数；以及

基于所述更新的跟踪参数来进一步改进所述动态表情模型。

4.根据权利要求1所述的方法，其中估计跟踪参数和改进所述动态表情模型是实时执行的。

5.根据权利要求1所述的方法，进一步包括基于所述动态表情模型来生成与所述用户的所述面部表情对应的图形表示。

6.根据权利要求1所述的方法，其中改进所述动态表情模型包括：

为所述动态表情模型的所述多个融合变形的每个融合变形确定覆盖系数；以及

当融合变形的对应的覆盖系数高于阈值时，从改进中删除所述融合变形。

7.根据权利要求1所述的方法，其中改进所述动态表情模型包括基于来自在所述多个帧之前的一个或更多个帧的跟踪数据来改进所述动态表情模型，其中来自所述一个或更多个帧的所述跟踪数据是基于衰减系数被加权的。

8.一种处理设备，包括：

输入接口，所述输入接口被配置为接收从在时间序列中的多个帧接收跟踪数据，所述跟踪数据与用户的面部表情对应；

存储器，所述存储器被配置为存储动态表情模型，所述动态表情模型包括多个融合变形；和

处理部件，所述处理部件耦接到所述输入接口和所述存储器，其中所述处理部件被配置为：

基于来自所述多个帧的每个帧的所述跟踪数据来估计跟踪参数，所述跟踪参数与所述融合变形的一个或更多个权重值对应；以及

基于所述跟踪数据来改进所述动态表情模型。

9.根据权利要求8所述的设备，其中所述处理部件被进一步配置为基于在所述时间序列中的所述多个帧的每个帧，重复地估计跟踪参数和改进所述动态表情模型。

10.根据权利要求8所述的设备，其中所述处理部件被进一步配置为：

对于随所述多个帧之后捕获的帧，基于改进的动态表情模型来估计更新的跟踪参数；以及

基于所述更新的跟踪参数来进一步改进所述动态表情模型。

11.根据权利要求8所述的设备，其中所述处理部件被进一步配置为实时估计跟踪参数和改进所述动态表情模型。

12.根据权利要求8所述的设备，其中所述处理部件被进一步配置为基于所述动态表情模型来生成与所述用户的所述面部表情对应的图形表示。

13.根据权利要求8所述的设备，其中所述处理部件被配置为：

基于所述多个融合变形的每个融合变形的确定的覆盖系数来改进所述动态表情模型；以及

当融合变形的对应的覆盖系数高于阈值时，从改进中删除所述融合变形。

14.根据权利要求8所述的设备，其中所述处理部件被配置为基于来自在所述多个帧之前捕获的一个或更多个帧的跟踪数据来改进所述动态表情模型，其中来自所述一个或更多个帧的所述跟踪数据是基于衰减系数被加权的。