[发明专利]人脸变形目标修正方法及其装置、设备、介质、产品

说明书

本申请涉及一种人脸变形目标修正方法及其装置、设备、介质、产品，所述方法包括：获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。本申请在维持较低运算量的情况下，使所述人脸变形目标的各个具体人脸区域都能够获得精细化的优化效果。

技术领域

本申请涉及数字人技术领域，尤其涉及一种人脸变形目标修正方法及其装置、设备、介质、产品。

背景技术

人脸表情追踪技术在数字人领域具有广泛的应用，是一个在学术界和工业界广泛研究的问题，主要分为传统方法和深度学习方法两大类。

传统方法利用自建3D人脸基底，通过严谨的数学推导来定义能量项，以最小化能量项来优化identity系数和表情系数，从而拟合人脸形状及表情。其中，identity系数α用于拟合人脸的形状，表情系数β用于拟合人脸的表情。而深度学习方法利用采集的训练图像及其对应的表情标签，对已有数据进行端对端的训练，模型学习到identity系数和表情系数来拟合人脸及表情。

对于现有传统方法，通常从自建3D人脸基底中提取中性人脸来优化identity系数。然后，将整张人脸进行优化，很容易忽略掉人脸细节，而且难以使优化函数收敛。

对于深度学习方法，一方面需要精心设计合理的网络模型，同时需要大量的资源来训练模型使其收敛。另一方面，深度学习模型作为端到端的黑盒，很难精细优化每一个表情的具体系数，从而可能出现表情异常的情况。

可见，各种现有技术在处理数字人的人脸图像时，对人脸图像的优化较为粗糙，难以获得优质的人脸图像。

发明内容

本申请的目的在于解决上述问题而提供一种人脸变形目标修正方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种人脸变形目标修正方法，包括如下步骤：

获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；

根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；

根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；

根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。

根据本申请的另一方面，提供一种人脸变形目标修正装置，包括：

基底系数获取模块，设置为获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；

人脸区域分割模块，设置为根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；

顶点分区优化模块，设置为根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；

变形目标修正模块，设置为根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。