[发明专利]人脸嘴部重建方法及装置

权利要求书

1.一种人脸嘴部重建方法，其特征在于，包括以下步骤：

采集目标对象各个表情的多视角图像；

根据所述多视角图像获取所述目标对象的2D嘴部特征点，并基于所述2D嘴部特征点计算所述目标对象的3D嘴部特征点；以及

由所述3D嘴部特征点生成嘴部特征向量，并利用所述嘴部特征向量重建最终的不透明度与表面颜色值，生成人脸嘴部重建图像。

2.根据权利要求1所述的方法，其特征在于，所述由所述3D嘴部特征点生成嘴部特征向量，包括：

将所述3D嘴部特征点输入至预先构建的编码嘴部特征的多层感知器MLP网络，得到所述嘴部特征向量。

3.根据权利要求2所述的方法，其特征在于，所述利用所述嘴部特征向量重建最终的不透明度与表面颜色值，生成人脸嘴部重建图像，包括：

将所述嘴部特征向量输入至基于神经辐射场的MLP网络，重建所述最终的不透明度与表面颜色值，并利用空间中的多个点的最终的不透明度与对应任一视角下的表面颜色值进行渲染，得到所述人脸嘴部重建图像。

4.根据权利要求3所述的方法，其特征在于，还包括：

将其他对象的嘴部特征向量输入至所述基于神经辐射场的MLP网络，重建新的最终的不透明度与表面颜色值，并利用空间中的多个点的新的最终的不透明度与对应任一视角下的表面颜色值进行渲染，得到所述其他对象的人脸嘴部重建图像，生成嘴部表情运动的迁移结果。

5.根据权利要求3所述的方法，其特征在于，在将所述嘴部特征向量输入至所述基于神经辐射场的MLP网络之前，还包括：

基于加入预设隐编码的预设神经辐射场，使用多层感知器得到所述基于神经辐射场的MLP网络，其中，所述预设隐编码建模有所述目标对象在不同时刻下由于运动引起的几何变化与表面颜色变化。

6.一种人脸嘴部重建装置，其特征在于，包括：

采集模块，用于采集目标对象各个表情的多视角图像；

计算模块，用于根据所述多视角图像获取所述目标对象的2D嘴部特征点，并基于所述2D嘴部特征点计算所述目标对象的3D嘴部特征点；以及

重建模块，用于由所述3D嘴部特征点生成嘴部特征向量，并利用所述嘴部特征向量重建最终的不透明度与表面颜色值，生成人脸嘴部重建图像。

7.根据权利要求6所述的装置，其特征在于，所述重建模块包括：

输入单元，用于将所述3D嘴部特征点输入至预先构建的编码嘴部特征的MLP网络，得到所述嘴部特征向量。

8.根据权利要求7所述的装置，其特征在于，所述重建模块进一步用于将所述嘴部特征向量输入至基于神经辐射场的MLP网络，重建所述最终的不透明度与表面颜色值，并利用空间中的多个点的最终的不透明度与对应任一视角下的表面颜色值进行渲染，得到所述人脸嘴部重建图像。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的人脸嘴部重建方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的人脸嘴部重建方法。