[发明专利]一种基于三维人脸数据增强的方法

摘要

本发明公开了一种用于三维人脸数据增强的方法，该方法建立在数据库不同三维人脸的稠密对应联系，选取具有最大非刚性形变差异的人脸对生成新身份；采用多线性3DMM拟合到数据库的人脸和新身份人脸，改变表情参数生成不同表情，再迁移回输入人脸生成新表情；新的身份和表情信息使得原始三维人脸数据集的数据量得到了增强，大大减少了采用Kinect等三维扫描仪手动去获得不同个体以及不同表情的人脸数据的负担，为三维人脸重建和识别等任务提供了有力的支持。

主权项

1.一种基于三维人脸数据增强的方法，其特征在于：在三维人脸数据库中，对每个个体人脸建立稠密对应联系，选取具有最大非刚性形状差异的人脸对产生新的身份，再利用多线性3DMM产生新的表情，新的身份和表情信息使得原始三维人脸数据集的数据量得到了增强，其步骤如下：(1)、建立三维人脸数据的稠密对应联系：选取三维人脸数据库，对每个个体的正面姿态人脸点云，采用最优步非刚性ICP方法，与BFM中的平均人脸点云模型进行配准，从而得到具有稠密对应的三维人脸点云模型，配准后的每个人脸模型具有相同的维度大小；(2)、产生新的身份：对于上面建立的具有稠密对应的人脸点云模型，选取具有最大的非刚性形状差异的人脸对，则新身份的人脸可由公式(1)得到其中三维人脸点云表示为F_i＝[x_p,y_p,z_p]^T，为对应的点对(i,j)生成的新的人脸，即新的身份；(3)、产生新的表情：采用公式(2)中的多线性3DMM，其中形状信息模型Pi来自BFM，表情信息模型Pe来自Face Warehouse，改变表情参数β即可产生不同的表情：式中X表示表情增强后的人脸，表示人脸点云对应的平均向量，α是形状信息参数向量，β是表情信息参数向量；(4)、计算形变位移向量：计算表情增强的人脸点云与BFM平均人脸点云之间的位移向量，计算方法如下：Δi＝Ψi‑Ωi     (3)，式中表示一组位移向量，Ψ_i为表情增强的3DMM，Ω_i是拟合3DMM，N是3DMM的点云个数；(5)、迁移表情到原始人脸：利用公式(4)计算原始人脸Xi在步骤(1)中拟合3DMM的最近点索引，然后原始人脸加上对应最近点索引的位移向量，得到表情增强后的原始人脸点云X′iX′i＝Xi+Δj      (5)，其中Δj是与输入原始人脸点云Xi对应的位移向量，X′i为表情迁移到原始的人脸的输入；由此可将表情迁移到原始输入三维人脸点云，从而获得不同表情的三维人脸点云。