[发明专利]一种用于三维建模的方法和装置

说明书

本发明提供了一种用于三维建模的方法和装置，应用于图像处理领域，该方法包括：接收第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括人脸，根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第一三维人脸数据库拟合出所述人脸的三维模型。本发明提供的一种三维建模的方法和装置，能够提高人脸的三维建模的效率，并提高建模的精度。

技术领域

本发明涉及一种用于图像处理的方法和装置，具体地，涉及一种用于三维建模的方法和装置。

背景技术

目前，对拍摄三维图像的相关技术研究已经发展了几十年时间。早期的拍摄三维图像的装置主要采用激光、结构光、大规模相机阵列等专业的传感器，重建三维模型的精度高，但是由于价格非常高昂，只适用于大型机构，而不适用于小型企业和家庭用户。近年来，随着技术发展，出现了许多低成本的拍摄三维图像的设备，如使用可以自动运动的深度摄像头，这类设备要求用户按照语音提示旋转若干角度进行拍摄，同时深度摄像头自动上下运动从而在各个角度拍摄被拍摄物体的深度图。最后，通过算法将各个角度拍摄的深度图合成一个被拍摄物体的完整的三维模型。

现有技术中的对于人脸的三维建模的方法的效率低，精度不高。

发明内容

本发明提供的一种用于三维建模的方法和装置，能够解决现有技术中对于人脸的三维建模的方法的效率低，精度不高的问题。

本发明的第一方面提供一种用于三维建模的方法，所述方法包括：接收第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括人脸；根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第一三维人脸数据库拟合出所述人脸的三维模型。

根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，第一三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量。

根据本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第一三维人脸数据库拟合出所述人脸的三维模型，包括：估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以第一条件为目标，由所述平均人脸模型拟合出所述人脸的三维模型。

根据本发明的第一方面的第二可执行方式，在本发明的第一方面的第三可执行方式中，所述第一条件包括下述中的至少一个：所述拟合出的所述人脸的三维模型的特征点在图像坐标系下的投影位置与对应的所述第一二维图像的特征点的位置之间的距离最小；所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小。

根据本发明的第一方面的第二可执行方式或第三可执行方式，在本发明的第一方面的第四可执行方式中，所述估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，包括：根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。

本发明的第二方面提供一种用于三维建模的装置，包括：接收模块，用于接收第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括人脸；建模模块，用于根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第一三维人脸数据库拟合出所述人脸的三维模型。

根据本发明的第二方面，在本发明的第二方面的第一可执行方式中，第一三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量。