[发明专利]实时面部动画的在线建模

说明书

本申请涉及实时面部动画的在线建模。本发明的实施例涉及一种用于实时面部动画的方法和一种用于实时面部动画的处理设备。该方法包括提供动态表情模型、接收与用户的面部表情对应的跟踪数据、基于动态表情模型和跟踪数据来估计跟踪参数、并基于跟踪数据和所估计的跟踪参数来改进动态表情模型。该方法还可包括基于跟踪参数来生成与用户的面部表情对应的图形表示。本发明的实施例涉及一种实时面部动画系统。

本申请是申请日为2014年6月4日、发明名称为“实时面部动画的在线建模”的中国专利申请201480044480.X的分案申请。

技术领域

本公开涉及用于实时面部动画的方法，具体地涉及处理设备和实时面部动画系统。此外，本公开涉及动态表情模型，该动态表情模型可包括可用于跟踪用户的面部表情以生成对应图形表示的多个融合变形。

背景技术

实时表现捕捉的最新进展已经使得新形式的人类通信变得触手可及。捕捉用户的动态面部表情并将这些面部表情重定向在数字人物上使得能够实现具有实时反馈的使用虚拟化身的通信。与经由只提供有限能力来改变用户外貌的记录视频流进行通信相比，面部动画为在计算机游戏、社交网络、电视、培训、客户支持、或其他形式的在线交互中的极具吸引力的新应用打开了大门。然而，大规模成功部署面部动画技术对性能和可用性提出了很高的要求。

在高端动画制作中常用的现有技术中基于标记的系统、多相机捕捉设备、或侵入式扫描设备并不适于消费者级的应用。需要复杂的校准或必需大量手动辅助来设置或创建系统的方法同样是不合适的。

已经提出了几种用于面部跟踪的实时方法。然而，基于视频的方法通常跟踪几个面部特征，并且常常缺少细小尺度的细节，这限制了所得到的动画的质量。跟踪性能在光照条件不好时也可能劣化，例如家居环境中通常发生此种情况。

现有技术的方法还要求事先创建跟踪模型和大量训练，这就要求通过扫描和处理预定的一组面部表情来构建用户的精确的3D表情模型。除了耗时之外，这样的预处理还是有错误的。通常要求用户在传感器前面以特定静止姿势移动其头部，以积累足够的信息。然而，呈现和保持正确姿势(例如以特定的预定张开角度保持嘴张开)可能是令人疲惫且困难的，并且常常需要多次尝试。此外，需要手动校正和参数调整来实现令人满意的跟踪结果。因此，特定于用户的校准对于消费者级应用中的部署而言是严重的妨碍。

基于面部表现捕捉来以动画方式显示数字人物在本领域中是已知的。例如，基于标记的系统被用于捕捉实时表现，其中显式面部标记可被放置在用户面部上以便简化跟踪。然而，面部标记限制了能捕获的空间细节的量。利用单个相机来记录面部表现的系统常常获得在所生成的面部动画中包含人工痕迹的非常低的跟踪质量。基于密集3D采集的表现捕捉系统诸如结构化光扫描设备或多视角相机系统能捕捉细小尺度的动态，但需要大量的处理时间，从而妨碍了交互帧速率。此外，应用标记和3D扫描的组合的系统常常要求需要大量细致校准的专门硬件设置。

鉴于以上考虑，本公开的一个目的是将面部跟踪改善足够准确和快速，以创建与被捕捉用户的表现完全匹配的似真的反应灵敏的动画，而其又适于或能够容易地适配于消费者级应用，消费者级应用要求最低的硬件设置、实时性能、以及没有复杂的手动校准或大量预处理。

因此，在本领域中需要实时面部动画，从而简化捕捉工作流程并且实现实时应用中更精确的面部跟踪。

发明内容

本发明的实施例涉及一种用于实时面部动画的方法、一种用于实时面部动画的处理设备、和一种实时面部动画系统。具体的实施例涉及存储有用于执行实时面部动画方法和实时面部动画系统的计算机可读指令的计算机可读介质。

本公开的第一方面提供了一种用于实时面部动画的方法，包括提供动态表情模型以及接收与用户的面部表情对应的跟踪数据。基于动态表情模型和跟踪数据来估计跟踪参数。此外，基于跟踪数据和所估计的跟踪参数来改进动态表情模型。