[发明专利]表情迁移方法、装置存储介质及程序

说明书

本申请实施方式公开了一种表情迁移方法、装置、电子设备、介质以及计算机程序，其中的方法包括：获取视频序列中用户的人脸关键点；基于所述人脸关键点的人脸形状融合模型，获取待处理视频帧中所述用户的人脸表情参数初始值以及人脸位姿初始值；根据所述人脸表情参数初始值、人脸位姿初始值以及人脸表情参数和人脸位置的线性关系获得所述用户的3维人脸模型的人脸表情参数；根据所述获得的人脸表情参数，驱动虚拟角色的表情。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种表情迁移方法、表情迁移装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

单目视觉通常是指基于一台摄像设备的视觉。基于单目视觉的表情迁移主要用于将用户的表情迁移到虚拟角色上。

对于视频而言，基于单目视觉的表情迁移需要格外关注表情迁移的实时性，即在迁移过程中，所涉及的计算量应尽可能的小，以使视频帧中的用户的表情能够快速的迁移到虚拟角色上，如何保证表情迁移的实时性，并尽可能的使表情迁移具有较好的准确性，是计算机视觉领域中一个值得关注的技术问题。

发明内容

本申请实施方式提供一种表情迁移的技术方案。

根据本申请实施方式一方面，提供一种表情迁移方法，包括：获取视频序列中用户的人脸关键点；基于所述人脸关键点的人脸形状融合模型，获取待处理视频帧中所述用户的人脸表情参数初始值以及人脸位姿初始值；根据所述人脸表情参数初始值、人脸位姿初始值以及人脸表情参数和人脸位置的线性关系获得所述用户的3维人脸模型的人脸表情参数；根据所述获得的人脸表情参数，驱动虚拟角色的表情。

在本申请一实施方式中，所述人脸形状融合模型包括：基于主成分分析PCA先验模型，根据所述人脸关键点而实例化的模型。

在本申请又一实施方式中，所述PCA先验模型包括：利用双线性模型的组织方式，而形成的双线性PCA先验模型。

在本申请再一实施方式中，所述PCA先验模型包括：利用人脸关键点，而构建的PCA先验模型。

在本申请再一实施方式中，所述人脸形状融合模型的形成方式包括：利用所述视频序列中的视频帧中的所述用户的人脸关键点，对非线性方程进行求解，从求解结果中获得所述人脸形状参数；根据所述人脸形状参数对所述PCA先验模型进行实例化，形成人脸形状融合模型；其中，所述非线性方程包括：所述3维人脸模型的相应顶点坐标的2维投影与所述待处理视频帧中的所述用户的人脸关键点的坐标的误差最小的非线性方程。

在本申请再一实施方式中，所述利用所述视频序列中的视频帧中的所述用户的人脸关键点，对所述非线性方程进行求解，从求解结果中获得所述人脸形状参数包括：利用所述视频序列中的首个包含有所述用户的视频帧中的所述用户的人脸关键点，对所述非线性方程进行求解，在判断出求解结果中的人脸位姿符合正脸位姿要求，且所述误差符合预定误差要求的情况下，将所述求解结果中的人脸形状参数作为视频序列中用户的人脸形状参数，否则，利用下一个视频帧中的所述用户的人脸关键点，对所述非线性方程进行求解，直到判断出求解结果中的人脸位姿符合正脸位姿要求，且所述误差符合预定误差要求。

在本申请再一实施方式中，所述方法还包括：将所述求解结果中的人脸表情参数作为，用于预测获得所述人脸形状参数的视频帧的下一视频帧中，所述用户的人脸表情参数初始值的历史人脸表情参数。

在本申请再一实施方式中，所述获取待处理视频帧中所述用户的人脸表情参数初始值以及人脸位姿初始值包括：根据所述待处理视频帧所对应的历史人脸表情参数，预测所述待处理视频帧中所述用户的人脸表情参数；根据所述预测出的人脸表情参数，基于所述非线性方程，获得所述用户的人脸位姿初始值；其中，预测出的人脸表情参数被作为所述待处理视频帧所对应的人脸表情参数初始值。