[发明专利]一种基于iOS面部捕捉驱动数字人的校准方法

说明书

本发明提出了一种基于iOS面部捕捉驱动数字人的校准方法，包括：采集记录点的最小面部数据；采集记录点的最大面部数据；在进行最小值校准时，采集若干记录点的面部表情数据，并按照最小值校准公式进行计算，得到该记录点对应的最小值校准结果；在进行最大值校准时，采集若干记录点的面部表情数据，并按照最大值校准公式进行计算，得到该记录点对应的最大值校准结果；在进行实际面部捕捉时，采集若干记录点的面部表情数据，并按照表情校准公式进行计算，得到该记录点对应的表情校准结果；借由上述方法的校准过程操作简单、执行效率高、硬件成本低。

技术领域

本发明涉及虚拟数字人领域，具体涉及一种基于iOS面部捕捉驱动数字人的校准方法。

技术背景

当前方案用iOS面部表情捕捉驱动虚幻数字人，基于iOS的52个面部表情特征捕捉进行数据输出和驱动。但当前在最小值校准和最大值校准方面仍存在问题。

最小值校准是指使用iPhone的深度摄像头进行面部捕捉；在最小值校准时经常会遇到演员面部放松，但是各个blendshape初始值不为零的情况，会导致诸如虚拟角色嘴部无法闭合或者眉头始终紧锁等不自然表情。

当前最小值校准方案如下：在演员面部放松时，记录下各个blendshape的值作为基准值Vi，在之后的面捕过程中，对于实时获得的数值Vr，进行(Vr-Vi)/(1-Vi)的计算，相当于以Vi为零点，对Vr进行了一次0到1之间的映射。这样便能确保在演员面部放松时，虚拟角色的各个blendshape值为零。但是当前方案需要在UE蓝图中添加52个数据映射，添加过程较为复杂，校准效率低，且不易更改。

而最大值校准是由于每个演员的表情幅度各不相同，若用同一套标准可能无法完美驱动数字人。比如嘴部移动参数为0～1，但演员面部移动最大幅度只能达到0～0.8，所以数字人面部移动幅度即无法达到0.8～1。

当前最大值校准一般采用AI机器学习方法，对演员进行视频采集，并通过机器学习训练模型，对演员的表情数据进行映射输出，成本较高，且只能针对单一演员。

发明内容

针对上述存在的拘束局限性，本发明提出了一种基于iOS面部捕捉驱动数字人的校准方法，在最小值校准时不需要在UE蓝图中逐个添加映射，最大值校准时也不需要进行模型训练或手动调整，可直接对演员进行面部数据特征的采集并自动调整输出系数。

为实现上述目的，本发明采用了以下技术方案：

一种基于iOS面部捕捉驱动数字人的校准方法，所述校准方法包括：

采集演员面部放松时的若干记录点的面部表情数据，得到对应记录点的最小面部数据；

采集演员执行若干特殊表情时若干记录点的面部表情数据，得到对应记录点的最大面部数据；

在进行最小值校准时，采集若干记录点的面部表情数据，并按照最小值校准公式进行计算，得到该记录点对应的最小值校准结果；

在进行最大值校准时，采集若干记录点的面部表情数据，并按照最大值校准公式进行计算，得到该记录点对应的最大值校准结果；

在进行实际面部捕捉时，采集若干记录点的面部表情数据，并按照表情校准公式进行计算，得到该记录点对应的表情校准结果。

本发明与现有技术相对比，本发明具有以下优点：

在最小值校准时不需要在UE蓝图中逐个添加映射，最大值也不需要进行模型训练或手动调整，可直接对演员进行面部数据特征的采集并自动调整输出系数，校准过程操作简单、执行效率高、硬件成本低。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明