[发明专利]一种基于TOF深度相机的面部表情捕捉方法

说明书

技术领域

本发明涉及计算机视觉及计算机图形学技术领域，尤其涉及一种利用单个TOF深度相机捕捉人脸面部的表情动作并存储为特定的数据格式用于动漫模型等的面部表情捕捉方法。

背景技术

近年来，随着计算机图形学的发展，计算机动画技术合成人的面部表情动画是当前动画学科研究的一个重点之一，它使得动画制作者能够以演员的表情直接驱动画形象模型，受到了动画制作者们更多的关注。面部表情捕捉能够实时地检测、记录表演者的表情，转化为数字化的“抽象表情”，以便动画软件将它“赋予”模型，使模型具有和表演者一样的表情，并生成最终的表情动画序列。

目前，人脸表情动画总体上可分为基于几何、基于图像、基于运动跟踪的研究方法。其中基于几何的研究方法主要包括关键帧插值法、参数化方法、肌肉模型法等；基于图像的方法主要包括：图像变形、动态纹理映射、面色变化的表情等。

在基于几何的研究方法中，关键帧插值法首先在两个不同的时刻建立几何模型，然后在这两个模型之间进行插值得到中间时刻的模型，从而获得人脸表情动画，这是一种最传统的、最原始的人脸动画方法，同时也是一种标准的人脸动画方法，但它的不足之处是需要很大的工作量。参数化方法是由Parke首次应用于人脸动画(Parke F I.A Parameteric Model for Human Faces [D].Salt Lake City：University of Utah，1974)，嘴唇说话时的动作就适合用这种方法，这种方法的不足是产生的人脸表情不够自然，并且在设置参数值时需要大量的手工调整。肌肉模型法是通过一组构成肌肉模型的弹性肌肉的收缩来控制人脸表面网格变化进而模拟人脸表情的。

在基于图像的方法中，图像变形一种是在两个图像之间手工操作对应特征线段来实现2D变形；另一种是通过变形的3D模型映射到2D的参数空间来实现3D模型变形以及通过将几何模型的3D变换和2D变形相结合，利用3D几何插值，并在对应纹理图像间进行图像的变形操作来获得真实的人脸表情动画。除此之外，还有基于Bezier特征曲线和基于径向基神经网络的图像变形等算法。动态纹理映射依赖视点的纹理映射，它每次允许使用不同的纹理图，通过模型的反复绘制来对当前视点的调和权值进行动态的调整，不足是需要的计算和内存量大，而多纹理融合如果独立于视点的话，由于记录和采样存在误差常常使纹理变得模糊。

目前，应用最广的是基于运动跟踪方法，运动跟踪方法主要是利用运动捕捉系统来进行表情捕捉，它主要是利用已有的捕获数据将源模型的人脸表情迁移到目标模型上，从而实现人脸的面部表情捕获，获得逼真的面部表情。

现有的运动捕捉技术根据捕捉设备和原理不同主要分为四大类：机械式、声学式、电学式以及光学式运动捕捉，其中，光学运动捕捉方式具有获取数据便捷、采样精度高、频率高、使用范围广等优点，它采集的数据是以帧为单位的序列标识点(Marker)点集数据，在表演者的脸部关键点贴上Marker，视觉系统将识别和处理这些Maker，就可以实现表情捕捉。

本发明采用的是基于运动跟踪的方法，不同于传统的光学式的捕捉方法。本发明在表情捕捉过程中无需手动标记Marker，直接使用图像识别的方法识别并记录面部关键点的运动数据。它主要是利用已有的捕获数据将源模型的人脸表情迁移到目标模型上，从而实现人脸的面部表情捕获，获得逼真的面部表情。

发明内容

针对目前动漫、电影等产业对面部表情捕获的需求，本申请提供一种基于TOF深度相机的面部表情捕捉方法，无需手动标记Marker，直接使用图像识别的方法识别并记录面部关键点的运动数据。其捕获的数据是人脸的真实运动数据，动作连贯逼真，表情细腻丰富，而且此方法获取到的面部表情捕捉文件可以重复使用，节约了成本。

为解决上述技术问题，本发明提供了一种基于TOF深度相机的面部表情捕捉方法，其包括：

第一步，利用TOF深度相机采集深度图像和彩色图像，采用AAM(Active Appearances Models)算法定位面部特征点，并计算获取面部表情数据；

第二步，处理捕捉面部表情数据，生成面部表情捕捉文件；

第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。

其中，在第一步中采用AAM算法标定真实人物的面部特征点，在头部姿态各异的情况下，我们也能够对面部特征点进行精确的定位，从而对真实人物进行面部表情捕捉。

其中，所述第一步进一步具体包括：

a、利用TOF深度相机获取人脸彩色图像和深度图像；