[发明专利]用于三维面部重建的人脸表情迁移方法、装置和系统

说明书

本公开提供了用于三维面部重建的人脸表情迁移方法、装置和系统，其包括接收从至少两个角度同时拍摄所获得的人脸表情动画，每个角度包含M帧人脸表情动画；使用SFM算法根据所获得的人脸表情动画产生M帧人脸表情3D模型；使用包裹算法将M帧人脸表情3D模型计算为相同拓扑的模型；使用RBF算法基于目标人脸初始状态下的目标人脸3D模型与人脸表情初始状态下的人脸表情3D模型计算出RBF算法中的权重值，其中目标人脸初始状态与人脸表情初始状态下的表情相同；使用RBF算法基于M帧人脸表情3D模型和权重值计算目标人脸3D模型。本公开的实施例可以实现表情细节到目标人脸的迁移，并且可以利用成本较低且佩戴方便的采集装置。

技术领域

本公开涉及三维面部重建技术，具体而言，涉及用于三维面部重建的人脸表情迁移方法和装置以及三维面部重建系统。

背景技术

电影/电视、游戏、广告新媒体、虚拟现实等产业都需要使用大量逼真的三维数据组成的虚拟人类。但是这种三维数据虚拟人类的表情动画创建是高度手动的，并且费时且昂贵。尽管可以基于多台摄像机(photography camera)组成的阵列在所获取的多角度拍摄的照片来生成被扫描人物的三维数据，但是由于人脸面部表情更为丰富和细腻，这种拍摄方式会丢掉面部表情的动画信息，导致后续需要更多的手动建模和动画处理时间才能将虚拟面部表情动画制作得更逼真。

现有的头戴面部捕捉系统通常采用单台小型摄像机对人脸的一些关键点进行识别和捕捉，通常这种捕捉只得到人眼睛、鼻子、嘴唇周围的少量二维关键点，这种低精度的数据往往只能还原面部表情的少量信息，后期需要大量的手动的面部表情建模工作才能让虚拟人类具有相对自然的表情动画。

再者，驱动虚拟人的表演者与虚拟人原型的三维脸部模型不一致，所以表演者表情动画想要迁移到目标模型上，依然存在巨大的问题。少量采样点驱动的方式不能保留表演者的所有表情细节并将其迁移到目标人脸，无法到达微表情级别的表演。虚拟人同真人一样完全以假乱真的参演电影和电视，目前还难于达到。

为此需要提供用于三维面部重建的人脸表情迁移方法的装置，其可以利用两台或两台以上的摄像机所捕获的二维图像获得具有表情信息的三维图像，实现将表演者的表情细节迁移到目标人脸，使得对人脸面部表情的采集和重建过程效果更好且效率更高。另外，为实现该方法而设计的三维面部重建系统可以利用成本较低且佩戴方便的便携设备来实现面部表情信息的采集。

发明内容

为了解决上述技术问题中的至少之一，根据本公开的实施例的一方面，提供了一种用于三维面部重建的人脸表情迁移方法，其包括接收从至少两个角度同时拍摄所获得的人脸表情动画，每个角度包含M帧人脸表情动画；使用SFM算法根据从至少所述两个角度同时拍摄所获得的人脸表情动画产生M帧人脸表情3D模型；使用包裹算法将M帧人脸表情3D模型计算为相同拓扑的M帧人脸表情3D模型；使用RBF算法基于目标人脸初始状态下的目标人脸3D模型与人脸表情初始状态下的人脸表情3D模型计算出RBF 算法中的权重值，其中目标人脸初始状态与人脸表情初始状态下的表情相同；使用RBF算法基于相同拓扑的M帧人脸表情3D模型和所述权重值计算M帧目标人脸3D模型。

根据本公开的实施例的用于三维面部重建的人脸表情迁移方法，可选地，其包括由至少两台摄像机从至少两个角度同时拍摄表演者，获得表演者的人脸表情动画，任一台摄像机与其余摄像机中的至少一台的拍摄范围具有30％以上的重叠率。

根据本公开的实施例的用于三维面部重建的人脸表情迁移方法，可选地，所述相同拓扑表示M帧人脸表情3D模型中的每个都拥有相同的顶点数量，并且每个人脸表情3D模型中相同序号的顶点所表示的人脸皮肤区域相同。

根据本公开的实施例的用于三维面部重建的人脸表情迁移方法，可选地，所述目标人脸初始状态与所述人脸表情初始状态是无表情状态。