[发明专利]一种表情迁移并动画化的方法及系统

说明书

本发明公开了一种表情迁移并动画化的方法及系统，其中方法包括：给定一源图像和一驱动视频；通过—预先训练的表情迁移并动画化模型预测所述源图像中的第一人脸关键点；通过所述表情迁移并动画化模型预测所述驱动视频中的第二人脸关键点，并预测得到各所述第二人脸关键点对应的人脸运动姿态；所述表情迁移并动画化模型根据所述第二人脸关键点和所述第一人脸关键点的映射关系，将关联所述第二人脸关键的所述人脸运动姿态迁移到具有映射关系的所述第一人脸关键点上，以实现静态的所述源图像跟随所述驱动视频中的人脸运动姿态作同步运动的动画化。本发明实现了对表情的实时迁移，满足了人们对于表情“真人化”实时迁移的需求。

技术领域

本发明涉及表情迁移和表情捕捉技术领域，具体涉及一种表情迁移并动画化的方法及系统。

背景技术

早期的换脸软件通过即时抓取摄像头视频中的人脸关键点，将表情、头部姿态等信息转化到三维虚拟化角色身上，比如一只猫、一个虚拟卡通人物上，然后在使用即时视频通讯软件时，其他人看到的就是拥有使用者当前表情的虚拟形象了。

随着换脸、表情迁移的科技浪潮汹涌而至，人们不再满足于使用卡通形象、动漫人物来充当自己的化身，而是希望使用真人的形象。但是将源脸替换到目标脸上，需要使用大量的双方人脸图像的数据进行事先的表情迁移训练，但是在即时的视频通讯应用场景中，根本无法获取双方大量的人脸图像数据集，也就无法对表情的真人迁移进行事先的模型训练。而且模型训练需要足够的训练时间，在即时的视频通讯应用场景中，也不具备模型训练该有的时间条件，所以现有技术中的表情迁移方法无法实现实时的表情迁移，无法满足人们希望以“真人”作为替身进行即时的角色变换的需求。

发明内容

本发明的目的在于提供一种表情迁移并动画化的方法及系统，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种表情迁移并动画化的方法，包括：

给定一源图像和—驱动视频；

通过—预先训练的表情迁移并动画化模型预测所述源图像中的第一人脸关键点；

通过所述表情迁移并动画化模型预测所述驱动视频中的第二人脸关键点，并预测得到关联各所述第二人脸关键点的人脸运动姿态；

根据所述第二人脸关键点和所述第一人脸关键点的映射关系，将关联所述第二人脸关键点的所述人脸运动姿态迁移到具有映射关系的所述第一人脸关键点上，以实现静态的所述源图像上的物体跟随所述驱动视频中的人脸运动姿态作同步运动。

作为本发明的一种优选方案，预测关联各所述第二人脸关键点的所述人脸运动姿态的方法为：

对所述驱动视频中的驱动图像上相邻的所述第二人脸关键点进行局部仿射变换，以模拟出所述驱动图像上的人脸运动姿态；

按时间轴提取模拟出的所述人脸运动姿态对应的人脸运动姿态特征，得到关联所述第二人脸关键点的多张人脸运动姿态特征图；

将关联同一个所述第二人脸关键点的各所述人脸运动姿态特征图按时间轴进行视频合成，得到关联所述第二人脸关键点的所述人脸运动姿态。

作为本发明的一种优选方案，将所述人脸运动姿态从所述驱动视频上迁移到所述源图像上的方法为：

步骤A1，判断所述第一人脸关键点和所述第二人脸关键点之间是否存在映射关系，

若是，则进入步骤A2；

若否，则不执行人脸运动姿态迁移；

步骤A2，将关联所述第二人脸关键点的所述人脸运动姿态迁移到与所述第二人脸关键点具有映射关系的所述第一人脸关键点上；