[发明专利]基于单张人脸图像自动合成三维表情的方法及装置

权利要求书

1.一种基于单张人脸图像自动合成三维表情的方法，该方法包括步骤：

步骤1，对于输入的单张图像，使用ASM进行人脸形状定位；

步骤2，根据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的形状建模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的三维人脸模型；

步骤3，利用包含有限表情模型的表情集，计算该表情集相对于三维人脸参考模型的运动矩阵和目标人脸的三维人脸模型的人脸表情运动矩阵，所述表情集中各表情模型所包含的顶点与三维人脸参考模型以及目标人脸的三维人脸模型中的顶点一一对应；

步骤4，根据步骤3中得到的目标人脸的三维人脸模型的人脸表情运动矩阵，计算表情集中每个表情的线性运动模型；

步骤5，在三维人脸参考模型和表情集的基础上，使用聚类方法获得人脸面部区域划分结果；

步骤6，利用目标人脸的三维人脸模型、表情集中每个表情的线性运动模型以及人脸面部区域划分结果，进行人脸三维表情合成。

2.根据权利要求1所述的方法，其特征在于，步骤2进一步包括，使用一个三维人脸参考模型，该三维人脸参考模型上具有与步骤1中所使用的人脸形状相对应的三维关键点，对该三维人脸参考模型进行散点插值，得到三维人脸参考模型的形状变换，然后对形状变换后的模型使用直接纹理映射，得到图像中目标人脸的三维人脸模型。

3.根据权利要求2所述的方法，其特征在于，步骤3进一步包括，通过以下方式来获取目标人脸的三维人脸模型的人脸表情运动矩阵：对于表情集中中性表情模型的任意一个顶点，构造其位于三维人脸参考模型中的源局部空间以及位于目标人脸的三维人脸模型中的目标局部空间，利用所述顶点的局部空间、源局部空间以及目标局部空间之间的对应关系，求得该顶点相对于三维人脸参考模型顶点坐标的运动向量，使用局部空间变换，获得该运动向量适用于目标人脸的三维人脸模型的变换形式，利用该变换形式以及三维人脸参考模型的运动矩阵，来获得目标人脸的三维人脸模型的运动矩阵。

4.根据权利要求3所述的方法，其特征在于，步骤5进一步包括：利用表情集中每个三维模型所包含的顶点，构造一个矩阵来代表顶点在表情集中的运动方式相关特征，利用顶点的运动方式相关特征以及顶点的空间位置特征，构造顶点的特征向量，对该特征向量进行K均值聚类，聚类的结果为面部划分的结果。

5.根据权利要求4所述的方法，其特征在于，在聚类过程中，对于目标人脸的三维人脸模型中的m个顶点，使用K均值聚类的方法将其分成r类，每一类中的顶点个数不是一定的，认为同一类的顶点代表脸部的同一区域，不同类顶点代表不同区域，聚类结果就是R_ij，R_ij是第i个表情的第j个区域，通过聚类获得每一类中所有顶点的标号，使用这些标号和A_i构建r个R_ij，其中A_i是第i个表情的运动模型，m、r、i和j都是大于等于1的整数。

6.一种基于单张人脸图像自动合成三维表情的装置，该装置包括：

人脸形状定位单元，对于输入的单张图像，使用ASM进行人脸形状定位；

人脸形状建模单元，根据定位的人脸形状，利用三维人脸参考模型采用散点插值完成人脸的形状建模，在形状建模的基础上进行纹理映射，得到图像中目标人脸的三维人脸模型；

运动矩阵计算单元，利用包含有限表情模型的表情集，计算三维人脸参考模型和目标人脸的三维人脸模型的运动矩阵；

线性运动模型计算单元，根据得到的目标人脸的三维人脸模型的运动矩阵，计算表情集中每个表情的线形运动模型；

面部区域划分单元，在三维人脸参考模型和表情集的基础上，使用聚类方法获得自动的人脸面部区域划分结果；

人脸表情合成单元，利用上述目标人脸的三维人脸模型、运动模型以及人脸面部区域划分结果，进行人脸表情合成。

7.根据权利要求6所述的装置，其特征在于，人脸形状建模单元使用一个三维人脸参考模型，该三维人脸参考模型上具有与人脸形状定位单元所确定的人脸形状相对应的三维关键点，对该三维人脸参考模型进行散点插值，得到三维人脸参考模型的形状变换，然后对形状变换后的模型使用直接纹理映射，得到图像中目标人脸的三维人脸模型。