[发明专利]人脸嘴部重建方法及装置

说明书

本申请公开了一种人脸嘴部重建方法及装置，其中，方法包括：采集目标对象各个表情的多视角图像；根据多视角图像获取目标对象的2D嘴部特征点，并基于2D嘴部特征点计算目标对象的3D嘴部特征点；由3D嘴部特征点生成嘴部特征向量，并利用嘴部特征向量重建最终的不透明度与表面颜色值，生成人脸嘴部重建图像。由此，解决了相关技术中对于由嘴部运动引起的拓扑变化的处理效果较差，嘴部动态重建精度较低，不利于表情运动迁移的技术问题。

技术领域

本申请涉及计算机视觉、计算机图形学技术领域，特别涉及一种人脸嘴部重建方法及装置。

背景技术

人脸的重建与表情运动迁移是计算机图形学与视觉中一个非常重要的问题，嘴部的重建与运动迁移则伴随着非常大的困难，与人脸其他部分不同，嘴部会发生非常大的运动并且伴随着明显的拓扑变化，如人在张嘴的时候口腔内部会显露出来，从而导致出现很多包括牙齿在内的新表面。

然而，相关技术中，对于由表情运动，尤其是嘴部运动引起的拓扑变化的处理效果较差，无法实现嘴部动态及完整头部的高精度重建，从而导致无法实现高精度的表情运动的迁移，亟待改进。

发明内容

本申请提供一种人脸嘴部重建方法及装置，以解决相关技术中对于由嘴部运动引起的拓扑变化的处理效果较差，嘴部动态重建精度较低，不利于表情运动迁移的技术问题。

本申请第一方面实施例提供一种人脸嘴部重建方法，包括以下步骤：采集目标对象各个表情的多视角图像；根据所述多视角图像获取所述目标对象的2D嘴部特征点，并基于所述2D嘴部特征点计算所述目标对象的3D嘴部特征点；以及由所述3D嘴部特征点生成嘴部特征向量，并利用所述嘴部特征向量重建最终的不透明度与表面颜色值，生成人脸嘴部重建图像。

可选地，在本申请的一个实施例中，所述由所述3D嘴部特征点生成嘴部特征向量，包括：将所述3D嘴部特征点输入至预先构建的编码嘴部特征的MLP网络，得到所述嘴部特征向量。

可选地，在本申请的一个实施例中，所述利用所述嘴部特征向量重建最终的不透明度与表面颜色值，生成人脸嘴部重建图像，包括：将所述嘴部特征向量输入至基于神经辐射场的MLP(Multilayer Perceptron，多层感知器)网络，重建所述最终的不透明度与表面颜色值，并利用空间中的多个点的最终的不透明度与对应任一视角下的表面颜色值进行渲染，得到所述人脸嘴部重建图像。

可选地，在本申请的一个实施例中，还包括：将其他对象的嘴部特征向量输入至所述基于神经辐射场的MLP网络，重建新的最终的不透明度与表面颜色值，并利用空间中的多个点的新的最终的不透明度与对应任一视角下的表面颜色值进行渲染，得到所述其他对象的人脸嘴部重建图像，生成嘴部表情运动的迁移结果。

可选地，在本申请的一个实施例中，在将所述嘴部特征向量输入至所述基于神经辐射场的MLP网络之前，还包括：基于加入预设隐编码的预设神经辐射场，使用多层感知器得到所述基于神经辐射场的MLP网络，其中，所述预设隐编码建模有所述目标对象在不同时刻下由于运动引起的几何变化与表面颜色变化。

本申请第二方面实施例提供一种人脸嘴部重建装置，包括：采集模块，用于采集目标对象各个表情的多视角图像；计算模块，用于根据所述多视角图像获取所述目标对象的2D嘴部特征点，并基于所述2D嘴部特征点计算所述目标对象的3D嘴部特征点；以及重建模块，用于由所述3D嘴部特征点生成嘴部特征向量，并利用所述嘴部特征向量重建最终的不透明度与表面颜色值，生成人脸嘴部重建图像。

可选地，在本申请的一个实施例中，所述重建模块包括：输入单元，用于将所述3D嘴部特征点输入至预先构建的编码嘴部特征的MLP网络，得到所述嘴部特征向量。

可选地，在本申请的一个实施例中，所述重建模块进一步用于，将所述嘴部特征向量输入至基于神经辐射场的MLP网络，重建所述最终的不透明度与表面颜色值，并利用空间中的多个点的最终的不透明度与对应任一视角下的表面颜色值进行渲染，得到所述人脸嘴部重建图像。