[发明专利]一种基于普通视频流的3D人脸模型表情自动生成方法

说明书

本发明公开了一种基于普通视频流的3D人脸模型表情自动生成方法，包括如下步骤：S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。本发明设计合理，能够实现3D人脸模型表情的自动快速生成，无需人工配合，大大降低了的人力陈本以及大大节省了时间，同时本发明专业性要求较低，同时运行成本低。

技术领域

本发明涉及图像表情迁移技术领域，尤其涉及一种基于普通视频流的3D人脸模型表情自动生成方法。

背景技术

如今CG技术越来越多地应用到影视创作当中来，而针对人脸的3D建模是最常见的应用场景之一。通过进行3D人脸建模，并且采集人脸表情数据进行合成，可以实现虚拟人物表演等目的。该应用场景中关键的一环是人脸表情的采集与导入，目前的解决方案主要包括如下两种：

(1)利用头盔式3D面部表情捕捉系统。系统采用视觉三维测量原理，对人脸表面的密布特征点集进行实时运动跟踪和重建，得到面部肌肉高度精细的三维空间运动轨迹，可直接用于驱动面部动画模型，生成表情动画；

(2)利用软件中的面部表情调整插件。专业的3D建模软件如Maya等提供了面部表情调整插件，通过逐帧调节参数也可以模拟各种表情。

上述两种方案虽均能实现3D人脸模型表情的制作，但仍存在一定的缺陷，如第一种解决方案，其专业性需求较高，且运行成本较高，而运用第二种解决方案，对于诸如影视换脸的场景(通过CG等技术将已经拍摄好的视频中某个人物替换掉)，由于素材已经拍摄处理完毕，如果想要进行3D人脸表情采集，需要演员重新进行表演，或者由后期人员逐帧手动调整模型的表情来还原，时间和人力成本都非常高。

发明内容

本发明的目的在于提供一种基于普通视频流的3D人脸模型表情自动生成方法，实现低成本及在无需人员配合的条件下快速完成表情的采集工作。

本发明的实现流程如下：

一种基于普通视频流的3D人脸模型表情自动生成方法，包括如下步骤：

S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧自动获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；

S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；

S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。

在步骤S100中，所述获取人脸位置的具体方法为：采用深度学习人脸检测算法S3FD获取人脸序列，用(x₁,y₁,x₂,y₂,t)五元组进行表示，其中：

t表示帧号，x₁，y₁表示人脸外接框的左上角坐标，x₂，y₂表示人脸外接框右下角坐标。

在步骤S100中，所述106个关键点的信息组成涵盖脸部轮廓，眼睛，口，鼻及表情动作。

在步骤S100中，所述监测106个关键点信息的具体方法为：采用深度学习算法PFLD检测出106个关键点的信息，用(x₁,y₁,x₂,y₂,...x₁₀₆,y₁₀₆,t)进行表示，其中：