[发明专利]一种基于三维人脸数据增强的方法

说明书

本发明公开了一种用于三维人脸数据增强的方法，该方法建立在数据库不同三维人脸的稠密对应联系，选取具有最大非刚性形变差异的人脸对生成新身份；采用多线性3DMM拟合到数据库的人脸和新身份人脸，改变表情参数生成不同表情，再迁移回输入人脸生成新表情；新的身份和表情信息使得原始三维人脸数据集的数据量得到了增强，大大减少了采用Kinect等三维扫描仪手动去获得不同个体以及不同表情的人脸数据的负担，为三维人脸重建和识别等任务提供了有力的支持。

技术领域

本发明涉及计算机视觉图像处理技术领域，具体是一种基于三维人脸数据增强的方法。

背景技术

人脸作为人类的一个生物特征，因为人脸面部特征的差异性，使得能够获得更加丰富的人物信息，通过人脸可以进行信息传递，身份确认等。人脸的三维重建问题，一直以来都是计算机视觉、图像处理和模式识别领域的一个研究热点。而数据增强，不仅降低了三维建模的强度，更提高了人脸的识别率。在大数据时代，随着软硬件的成熟，三维人脸重建与识别正在逐渐应用于视频监控和安防领域。此外虚拟现实(VR)、医疗技术和电影角色等相关领域也需要应用三维人脸重建技术。三维人脸数据的增强对于三维人脸重建问题的探索与研究具有重大的科研价值与现实意义。

二维人脸的识别技术日趋成熟，但是二维人脸图像易于受到光照、表情、姿态变化等影响，在一定程度上降低了人脸识别算法的性能。而三维人脸数据的对光照、表情及姿态等变化具有良好的鲁棒性，保持了人脸的原始内蕴信息，且比二维人脸数据具有更多的信息量。但是，三维人脸重建技术存在同一个个体三维模拟差异较大，计算成本较高，重建时间长。本发明提出了一种增强三维数据的方法，使得数据集增多，避免了图像采集过程中深度信息的损失，降低了计算成本，提高了重建精度。

发明内容

本发明的目的是提供一种用于三维人脸数据增强方法，以解决现有技术三维人脸数据集较少，同一个个体三维模拟差异较大，重建效果不佳等问题。

为了达到上述目的，本发明所采用的技术方案为：

一种基于三维人脸数据增强的方法，其特征在于：在三维人脸数据库中，对每个个体人脸建立稠密对应联系，选取具有最大非刚性形状差异的人脸对产生新的身份，再利用多线性3DMM产生新的表情，新的身份和表情信息使得原始三维人脸数据集的数据量得到了增强，其步骤如下：

(1)、建立三维人脸数据的稠密对应联系：选取三维人脸数据库，对每个个体的正面姿态人脸点云，采用最优步非刚性ICP的方法，与BFM(Basel Face Model)中的平均人脸点云模型进行配准，从而得到具有稠密对应的三维人脸点云模型，且每个模型具有相同的维度大小；

(2)、产生新的身份：对于上面建立的具有稠密对应的人脸点云模型选取具有最大的非刚性形状差异的人脸对，则新身份的人脸可由公式(1)得到，

其中三维人脸点云表示为F_i＝[x_p,y_p,z_p]^T，为对应的点对(i,j)生成的新的人脸，即新的身份；

(3)、产生新的表情：采用多线性三维形变模型(3D Morphable Models，简称3DMM)，其中形状信息模型P_i来自BFM，表情信息模型P_e来自Face Warehouse，根据稠密对应的人脸以及产生的新身份信息的人脸，得到表情增强后的具有稠密对应联系的三维人脸点云X，X的计算方法如下：

式中X表示表情增强后的人脸，表示人脸点云对应的平均向量，α是形状信息参数向量，β是表情信息参数向量；

(4)、计算形变位移向量：计算表情增强的人脸点云与BFM平均人脸点云之间的位移向量，计算方法如下：