[发明专利]表情迁移方法、装置存储介质及程序

权利要求书

1.一种表情迁移方法，其特征在于，包括：

获取视频序列中用户的人脸关键点；

基于所述人脸关键点的人脸形状融合模型，获取待处理视频帧中的用户的人脸表情参数初始值以及人脸位姿初始值；

根据所述人脸表情参数初始值、人脸位姿初始值以及人脸表情参数和人脸位姿的线性关系获得所述用户的3维人脸模型的人脸表情参数；其中，所述线性关系是基于所述用户的3维人脸模型的相应顶点坐标的2维投影与所述待处理视频帧中的用户的人脸关键点的坐标的误差最小的非线性方程形成的；

根据所述获得的人脸表情参数，驱动虚拟角色的表情。

2.根据权利要求1所述的方法，其特征在于，所述人脸形状融合模型包括：基于主成分分析PCA先验模型，根据所述人脸关键点而实例化的模型。

3.根据权利要求2所述的方法，其特征在于，所述PCA先验模型包括：利用双线性模型的组织方式，而形成的双线性PCA先验模型。

4.根据权利要求2所述的方法，其特征在于，所述PCA先验模型包括：利用人脸关键点，而构建的PCA先验模型。

5.根据权利要求2至4中任一项所述的方法，其特征在于，所述人脸形状融合模型的形成方式包括：

利用所述视频序列中的视频帧中的所述用户的人脸关键点，对非线性方程进行求解，从求解结果中获得人脸形状参数；

根据所述人脸形状参数对所述PCA先验模型进行实例化，形成人脸形状融合模型；

其中，所述非线性方程包括：所述3维人脸模型的相应顶点坐标的2维投影与所述待处理视频帧中的所述用户的人脸关键点的坐标的误差最小的非线性方程。

6.根据权利要求5所述的方法，其特征在于，所述利用所述视频序列中的视频帧中的所述用户的人脸关键点，对所述非线性方程进行求解，从求解结果中获得所述人脸形状参数包括：

利用所述视频序列中的首个包含有所述用户的视频帧中的所述用户的人脸关键点，对所述非线性方程进行求解，在判断出求解结果中的人脸位姿符合正脸位姿要求，且所述误差符合预定误差要求的情况下，将所述求解结果中的人脸形状参数作为视频序列中用户的人脸形状参数，否则，利用下一个视频帧中的所述用户的人脸关键点，对所述非线性方程进行求解，直到判断出求解结果中的人脸位姿符合正脸位姿要求，且所述误差符合预定误差要求。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述求解结果中的人脸表情参数作为，用于预测获得所述人脸形状参数的视频帧的下一视频帧中，所述用户的人脸表情参数初始值的历史人脸表情参数。

8.根据权利要求1所述的方法，其特征在于，所述获取待处理视频帧中所述用户的人脸表情参数初始值以及人脸位姿初始值包括：

根据所述待处理视频帧所对应的历史人脸表情参数，预测所述待处理视频帧中所述用户的人脸表情参数；

根据所述预测出的人脸表情参数，基于所述非线性方程，获得所述用户的人脸位姿初始值；

其中，预测出的人脸表情参数被作为所述待处理视频帧所对应的人脸表情参数初始值。

9.根据权利要求8所述的方法，其特征在于，所述根据所述待处理视频帧所对应的历史人脸表情参数，预测所述待处理视频帧中所述用户的人脸表情参数包括：

根据所述待处理视频帧所对应的历史人脸表情参数，利用卡尔曼滤波方式，预测所述待处理视频帧中所述用户的人脸表情参数。

10.根据权利要求8所述的方法，其特征在于，所述根据所述预测出的人脸表情参数，基于所述非线性方程，获得所述用户的人脸位姿初始值包括：

根据人脸形状参数以及所述人脸表情参数初始值计算出所述3维人脸模型的各顶点坐标；

利用多个顶点坐标以及人脸表情参数初始值，对所述非线性方程进行求解，以获得人脸位姿；

其中，所述获得的人脸位姿被作为所述待处理视频帧所对应的人脸位姿初始值。