[发明专利]人脸图像处理方法、装置、电子设备及存储介质

权利要求书

1.一种人脸图像处理方法，其特征在于，包括以下步骤：

获取预设数量的连续人脸帧图像；

将所述连续人脸帧图像输入到预先训练好的三维重建网络中进行三维人脸重建，得到三维人脸后渲染为二维人脸图像；

通过所述二维人脸图像以及预先训练好的图像增强网络对所述连续人脸帧图像进行图像去噪去模糊，得到目标人脸图像；

其中，所述三维重建网络与所述图像增强网络为级联设置。

2.如权利要求1所述的方法，其特征在于，所述三维重建网络包括参数提取网络以及参数重建网络，所述将所述连续人脸帧图像输入到预先训练好的三维重建网络中进行三维人脸重建，得到三维人脸后渲染为二维人脸图像，包括：

通过所述参数提取网络提取所述连续人脸帧图像的人脸重建参数；

通过所述参数重建网络对所述人脸重建参数进行重建，得到三维人脸；

对所述三维人脸进行二维渲染，得到二维人脸图像。

3.如权利要求2所述的方法，其特征在于，所述图像增强网络包括去噪卷积核以及去模糊卷积核，所述通过所述二维人脸图像以及预先训练好的图像增强网络对所述连续人脸帧图像进行图像去噪去模糊，得到目标人脸图像，包括：

将所述二维人脸图像作为所述连续人脸帧图像的先验信息，输入到所述图像增强网络；

以所述先验信息作为参考，通过所述去噪卷积核对所述连续人脸帧图像进行去噪操作；以及

以所述先验信息作为参考，通过所述去模糊卷积核对所述连续人脸帧图像进行去模糊操作；

输出得到目标人脸图像。

4.如权利要求1所述的方法，其特征在于，所述三维重建网络与所述图像增强网络为联合训练，所述联合训练包括：

构建样本集，所述样本集包括样本人脸图像，与所述样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签；

将所述样本集输入到级联的所述三维重建网络与所述图像增强网络中对所述三维重建网络与所述图像增强网络进行训练；

计算所述三维重建网络中，预测重建参数与重建参数标签的第一损失函数；以及

计算所述三维重建网络中，二维人脸图像中预测人脸关键点位置与人脸关键点位置标签所对应的第二损失函数；以及

计算所述图像增强网络中，所得到目标人脸图像的预测像素均方差与像素均方差标签的第三损失函数；

计算第一损失函数、第二损失函数以及第三损失函数的总损失，并根据反向传播调整所述三维重建网络与所述图像增强网络的参数，迭代训练以使所述总损失最小化，得到训练好的三维重建网络以及训练好的图像增强网络。

5.如权利要求4所述的方法，其特征在于，所述样本集中包括多组样本人脸图像，所述构建样本集，包括：

获取预设数量的连续人脸帧图像作为一组待处理样本人脸图像；

在预先准备的模糊核以及噪声核中，随机选取至少一个模糊核与至少一个噪声核对当前待处理样本人脸图像进行模糊添加以及噪声添加，得到处理后的样本人脸图像；

根据所述当前待处理样本人脸图像，获取与所述当前待处理样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签；

将所述处理后的样本人脸图像、以及所述与所述当前待处理样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签作为一组样本人脸图像添加到所述样本集。

6.如权利要求4所述的方法，其特征在于，所述样本集中包括多组样本人脸图像，所述构建样本集，包括：

获取2n+1个连续人脸帧图像作为一组待处理样本人脸图像；

在预先准备的模糊核以及噪声核中，随机选取至少一个模糊核与至少一个噪声核对当前待处理样本人脸图像进行模糊添加以及噪声添加，得到2n+1个处理后的样本人脸图像；

将所述2n+1个处理后的样本人脸图像进行通道连接，得到目标样本人脸图像；

根据所述待处理样本人脸图像，获取与第n个待处理样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签；

将所述目标样本人脸图像、以及所述与第n个待处理样本人脸图像对应的人脸关键点位置标签、像素均方差标签以及重建参数标签作为一组样本人脸图像添加到所述样本集。