[发明专利]一种头部三维重建方法及设备

说明书

本申请涉及三维重建技术领域，提供一种头部三维重建方法及设备，具体的，通过对原始图像进行人脸识别得到人脸图像；从所述人脸图像中提取驱动参数，并用提取的驱动参数驱动预先构建的参数化头部模型运动，得到驱动后的头部三维几何模型；对所述人脸图像进行语义分割，得到各个独立的子区域；考虑人脸对称性和肤色一致性，根据所述各个子区域各自的像素点的颜色值与镜像像素点的颜色值的差值，分别对所述各个子区域进行纹理补全；对补全后的各个子区域进行融合，得到人脸的完整纹理数据；根据所述完整纹理数据渲染所述头部三维几何模型，从而提高重建后头部稠密表面模型的真实性。

技术领域

本申请涉及三维重建技术领域，尤其涉及一种头部三维重建方法及设备。

背景技术

头部重建在游戏角色造型、虚拟现实应用、虚拟试衣、个性化塑像定制等方面具有广泛的应用。头部重建方式包括：1)采用专业造型软件(如Maya、3Ds Max等)进行头部建模，这需要用户对软件本身有深入了解，并掌握相关的艺术知识，而且不易个性化定制；2)利用专业三维激光扫描设备采集的头部数据进行重建，由于激光扫描设备成本较高而无法普及；3)驱动数据库(人头数据库)中的头部模型运动进行重建，相对于前两种方式，更利于推广和应用。

利用参数化头部模型可以从单张图片中重建人体头部的三维模型生成人头数据库。参数化头部模型是指对预先采集的高精度三维人体头部数据进行降维分析(例如主成分分析法或者网络自编码等)，得到一组基函数，对这组基函数进行线性或非线性混合，生成不同的头部模型。其中，基函数的混合参数作为人体头部的参数化表达。

一般的，利用参数化头部模型从单张图片中重建头部三维模型时，头部的几何形状会保持完整的拓扑形状，但对于头部的纹理数据，受限于相机拍摄角度，不能完整的获取人脸的纹理数据，因此，重建的头部三维模型(特别是侧脸区域)存在失真，影响重建模型的三维表达效果。

目前，解决头部三维模型失真的技术方案主要有两种，一种是通过单张图像，渲染3D头部模型从任意角度旋转到当前角度的带遮挡伪影和瑕疵的人脸图像，从而和原图像构建训练数据对，形成自我监督训练深度学习模型，基于训练好的深度学习模型进行侧脸生成及人脸补全，重建过程中用到了两次人脸纹理获取、两次三维空间旋转和两次渲染，保留了原有的纹理细节及光照，但是计算过程较为复杂，目前无法实时运行，在实时通讯场景应用性较差；二是对多相机采集的多张纹理图片按一定方式进行的区域融合，从而得到完整的人脸纹理数据，但纹理融合效果受限于采集设备的布置及采集场景的选取等，并且仅仅通过多角度布置的相机采集的图像进行纹理融合，在人脸快速运动时出现纹理偏差，导致人脸无法补全。

发明内容

本申请实施例提供了一种头部三维重建方法及设备，用以对人脸的纹理数据进行补全，提高头部重建模型的真实性。

第一方面，本申请实施例提供一种头部三维重建方法，包括：

获取相机采集的原始图像，对所述原始图像进行人脸识别，得到人脸图像；

从所述人脸图像中提取驱动参数，并用提取的驱动参数驱动参数化头部模型运动，得到驱动后的头部三维几何模型，所述参数化头部模型是基于初始人脸图像中提取的头部参数预先构建的；

对所述人脸图像进行语义分割，得到各个独立的子区域；

根据各个子区域各自的像素点的颜色值与镜像像素点的颜色值的差值，分别对所述各个子区域进行纹理补全；

对补全后的各个子区域进行融合，得到人脸的完整纹理数据；

根据所述完整纹理数据渲染所述头部三维几何模型，得到重建后的头部稠密表面模型。

第二方面，本申请实施例提供一种重建设备，包括存储器、处理器；

所述存储器，被配置为存储计算机程序指令以及预设的参数化头部模型；