[发明专利]一种表情迁移并动画化的方法及系统

权利要求书

1.一种表情迁移并动画化的方法，其特征在于，包括：

给定一源图像和—驱动视频；

通过—预先训练的表情迁移并动画化模型预测所述源图像中的第一人脸关键点；

通过所述表情迁移并动画化模型预测所述驱动视频中的第二人脸关键点，并预测得到关联各所述第二人脸关键点的人脸运动姿态；

根据所述第二人脸关键点和所述第一人脸关键点的映射关系，将关联所述第二人脸关键点的所述人脸运动姿态迁移到具有映射关系的所述第一人脸关键点上，以实现静态的所述源图像上的物体跟随所述驱动视频中的人脸运动姿态作同步运动；

预测关联各所述第二人脸关键点的所述人脸运动姿态的方法为：

对所述驱动视频中的驱动图像上相邻的所述第二人脸关键点进行局部仿射变换，以模拟出所述驱动图像上的人脸运动姿态；

按时间轴提取模拟出的所述人脸运动姿态对应的人脸运动姿态特征，得到关联所述第二人脸关键点的多张人脸运动姿态特征图；

将关联同一个所述第二人脸关键点的各所述人脸运动姿态特征图按时间轴进行视频合成，得到关联所述第二人脸关键点的所述人脸运动姿态。

2.如权利要求1所述的方法，其特征在于，将所述人脸运动姿态从所述驱动视频上迁移到所述源图像上的方法为：

步骤A1，判断所述第一人脸关键点和所述第二人脸关键点之间是否存在映射关系，

若是，则进入步骤A2；

若否，则不执行人脸运动姿态迁移；

步骤A2，将关联所述第二人脸关键点的所述人脸运动姿态迁移到与所述第二人脸关键点具有映射关系的所述第一人脸关键点上；

步骤A3，按照时间帧顺序将迁移的所述人脸运动姿态合成为人脸运动视频，以实现静态的所述源图像跟随所述驱动视频中的所述人脸运动姿态同步运动的动画化。

3.如权利要求1所述的方法，其特征在于，所述表情迁移并动画化模型预测所述驱动视频中的所述第二人脸关键点的同时还对所述驱动视频中的驱动图像上是否存在人脸遮挡区域进行检测，当检测到所述驱动图像上存在遮挡人脸的区域时，所述表情迁移并动画化模型将对遮挡人脸的区域进行图像修复，修复人脸遮挡区域的具体方法包括如下步骤：

步骤B1，在检测到当前帧图像存在遮挡人脸的区域时截取当前帧图像并存储；

步骤B2，提取所述当前帧图像上遮挡住人脸的区域图像，并对所述区域图像在所述当前帧图像上的所处位置进行标注；

步骤B3，截取所述当前帧图像的前后帧图像并存储；

步骤B4，将所述当前帧图像与当前帧的前一帧图像或后一帧图像进行图像比对，以判断所述前一帧图像或所述后一帧图像上是否存在人脸遮挡区域，

若是，则以所述前一帧图像或所述后一帧图像为当前帧图像并返回所述步骤B1；

若否，则进入步骤B5；

步骤B5，在所述前一帧图像或所述后一帧图像上匹配出与所述当前帧图像中遮挡住人脸的所述区域图像相同位置处的匹配图像；

步骤B6，从所述前一帧图像或所述后一帧图像上提取出所述匹配图像并存储；

步骤B7，将所述匹配图像填充到所述步骤B2中标注的所述当前帧图像遮挡住人脸的所述区域图像的位置处，以实现对所述当前帧图像的修复。