[发明专利]一种基于普通视频流的3D人脸模型表情自动生成方法

权利要求书

1.一种基于普通视频流的3D人脸模型表情自动生成方法，其特征在于，包括如下步骤：

S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧自动获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；

S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；

S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。

2.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S100中，所述106个关键点的信息组成涵盖脸部轮廓，眼睛，口，鼻及表情动作。

3.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S100中，所述获取人脸位置的具体方法为：采用深度学习人脸检测算法S3FD获取人脸序列，用(x₁,y₁,x₂,y₂,t)五元组进行表示，其中：

t表示帧号，x₁，y₁表示人脸外接框的左上角坐标，x₂，y₂表示人脸外接框右下角坐标。

4.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S100中，所述监测106个关键点信息的具体方法为：采用深度学习算法PFLD检测出106个关键点的信息，用(x₁,y₁,x₂,y₂,...x₁₀₆,y₁₀₆,t)进行表示，其中：

X_i，y_i表示关键点i的坐标，t表示帧号。

5.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：所述得到3D模型的表情序列的具体步骤为：

S301、采用坐标转换算法对3D模型的关键点坐标进行转换，并对坐标转换算法进行优化，得到每帧的旋转参数；

S302、将旋转参数与3D模型中的参数进行相应位置的变换。

6.根据权利要求4所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S301中，所述坐标转换算法的运算函数为：

其中，s表示缩放系数，R表示旋转矩阵，S是3D模型中关键点的坐标，t是位移，Yi是视频中的像素坐标。R用以下九个参数表示：

N表示所有关键点的个数。

7.根据权利要求4所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S301中，所述坐标转换算法采用非线性最小二乘的方法进行优化。