[发明专利]一种基于神经网络的三维数字人面部细节增强方法和装置

说明书

本发明公开了一种基于神经网络的三维数字人面部细节增强方法和装置，使用人脸检测器获取原始RGB图像中的人脸图像，使用基于生成式对抗网络的人脸生成模型，将提取的人脸图像转换为更清晰、更真实的人脸图像；随后移除原图中的人脸，移除新生成的人脸的背景，将新生成的人脸与移除人脸后的原图进行融合，得到包含高度真实感的RGB图像。

技术领域

本发明涉及计算机视觉和计算机图形学领域，尤其涉及一种基于神经网络的三维数字人面部细节增强方法和装置。

背景技术

人脸图像生成是计算机图形学与计算机视觉领域中的一个重要问题。自从NVIDIA提出PGGAN以来，高清人脸(1024*1024分辨率)的生成已成为现实，在游戏、虚拟现实、计算机图形学等方面均有巨大的潜在应用空间。

在游戏中，亲手创造一个与众不同的角色，乐趣不言而喻。但有时往往是“游戏五分钟，捏脸两小时”。目前大多数现有的创建和定制游戏角色的方法都要求玩家手动调整角色的面部特征，以便重新创建自己的面部或捏成其他人的面部，一个玩家通常需要几个小时耐心去手动调整数百个参数(例如脸型、眼睛)来创建一个类似于指定肖像的角色。使用前沿的生成对抗网络，如StyleGAN，可在数秒内生成高真实感的可编辑属性的人脸，同时也可让玩家使用提供的照片在数秒内生成仿真人脸。

同样的技术，也可以应用在虚拟现实与影视游戏，如快速替换大量已生成的缺乏真实感的虚拟人脸、基于真实人脸照片的面部重建或使用手绘草图快速生成真实感人脸。

在计算机图形学领域，3D建模的过程需要耗费大量资源，使用人脸生成网络可以加速建模前2D图像的获取。目前有些先进的网络，如MeInGame，可以基于2D人脸重构3D人脸模型，再转移到对应的模板网络上，由此加速3D模型的构建。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种基于神经网络的三维数字人面部细节增强方法和装置。

本发明的目的是通过以下技术方案来实现的：一种基于神经网络的三维数字人面部细节增强方法，包括以下步骤：

S1，获取一张原始RGB图像；

S2，使用人脸检测器对原始RGB图像进行检测，若在原始RGB图像中检测出包含人脸图像，则提取出原始RGB图像中的N张形状为正方形的人脸图像：I₁…I_i…I_N，其中，I_i表示第i张人脸图像，i＝1,…i…N，N≥1；通过人脸检测器获得每一张人脸图像I_i的边界顶点坐标集合P_i，其中，P_i表示人脸图像I_i的边界顶点坐标集合；所述P_i＝{p_i,1,p_i,2,p_i,3,p_i,4}，其中，p_i,1表示人脸图像I_i的左上顶点坐标，p_i,2表示人脸图像I_i的右上顶点坐标，p_i,3表示人脸图像I_i的右下顶点坐标，p_i,4表示人脸图像I_i的左下顶点坐标；

S3，使用人脸抠图算法对步骤S2提取的任意一张人脸图像I_i过滤背景，得到人脸图像遮罩图I_i,1和人脸图像背景图I_i,2；

S4，使用人脸对齐算法对得到的人脸图像遮罩图I_i,1进行处理，得到对齐后的人脸图像I_i,3；

S5，将人脸图像I_i,3缩放至1024*1024大小，得到人脸图像I_i,4；