[发明专利]人脸变形目标修正方法及其装置、设备、介质、产品

权利要求书

1.一种人脸变形目标修正方法，其特征在于，包括：

获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；

根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；

根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；

根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。

2.根据权利要求1所述的人脸变形目标修正方法，其特征在于，根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数，包括：

针对用于生成所述人脸变形目标的人脸图像进行人脸关键点检测，获得所述人脸图像中人脸区域图像的人脸关键点信息；

对齐所述人脸关键点信息中各个人脸关键点与所述三维人脸模型的人脸网格中的标准人脸顶点，确定各人脸区域下人脸关键点与顶点之间的映射关系；

根据所述映射关系，从所述基底人脸系数集中分割出所述人脸网格中各个预设人脸区域相对应的区域人脸系数，每个区域人脸系数均包括相应区域的中性人脸系数及平均人脸系数。

3.根据权利要求1所述的人脸变形目标修正方法，其特征在于，所述人脸区域包括眼睛区域、眉额区域、鼻部区域、嘴部区域以及脸部轮廓区域，各个人脸区域均具有对称结构。

4.根据权利要求1所述的人脸变形目标修正方法，其特征在于，根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数，包括：

基于非线性优化算法，对属于人脸顶半部之外的其他人脸区域相对应的顶点实施第一优化操作；

基于线性优化算法，对属于人脸顶半部的各个人脸区域相对应的顶点实施第二优化操作。

5.根据权利要求1所述的人脸变形目标修正方法，其特征在于，获取基底人脸系数集之前，包括：

根据所述三维人脸模型的人脸变形目标判断用于生成所述人脸变形目标的人脸图像是否属于其所在的视频流中的关键帧，当属于关键帧时，执行后续步骤，否则忽略后续步骤。

6.根据权利要求1所述的人脸变形目标修正方法，其特征在于，根据所述三维人脸模型的人脸变形目标判断用于生成所述人脸变形目标的人脸图像是否属于其所在的视频流中的关键帧，包括：

获取属于视频流中的当前图像帧的所述人脸变形目标；

对所述人脸变形目标的向量表示进行统计分析，计算出所述人脸变形目标的投影距离；

判断所述投影距离是否超过预设的距离阈值，当超过所述距离阈值时，确定当前图像帧为关键帧，否则为非关键帧。

7.根据权利要求1至6中任意一项所述的人脸变形目标修正方法，其特征在于，根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标之后，包括：

将修正后的人脸变形目标应用于所述三维人脸模型，渲染出该人脸变形目标相对应的数字人的人脸图像；

将所述数字人的人脸图像替换用于生成所述人脸变形目标的视频流的图像帧中的人脸图像，将该视频流推送至直播间显示。

8.一种人脸变形目标修正装置，其特征在于，包括：

基底系数获取模块，设置为获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；

人脸区域分割模块，设置为根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；

顶点分区优化模块，设置为根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；

变形目标修正模块，设置为根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。