[发明专利]一种用于三维建模的方法和装置

权利要求书

1.一种用于三维建模的方法，其特征在于，所述方法包括：

接收第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括人脸；

根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第一三维人脸数据库拟合出所述人脸的三维模型。

2.根据权利要求1所述的方法，其特征在于，

第一三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量。

3.根据权利要求2所述的方法，其特征在于，

所述根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第一三维人脸数据库拟合出所述人脸的三维模型，包括：

估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以第一条件为目标，由所述平均人脸模型拟合出所述人脸的三维模型。

4.根据权利要求3所述的方法，其特征在于，所述第一条件包括下述中的至少一个：

所述拟合出的所述人脸的三维模型的特征点在图像坐标系下的投影位置与对应的所述第一二维图像的特征点的位置之间的距离最小；

所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小。

5.根据权利要求3或4所述的方法，其特征在于，所述估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，包括：

根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；

根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。

6.一种用于三维建模的装置，其特征在于，包括：

接收模块，用于接收第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括人脸；

建模模块，用于根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第一三维人脸数据库拟合出所述人脸的三维模型。

7.根据权利要求6所述的装置，其特征在于，

第一三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量。

8.根据权利要求7所述的装置，其特征在于，

所述建模模块，具体用于：

估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以第一条件为目标，由所述平均人脸模型拟合出所述人脸的三维模型。

9.根据权利要求8所述的装置，其特征在于，所述第一条件包括下述中的至少一个：

所述拟合出的所述人脸的三维模型的特征点在图像坐标系下的投影位置与对应的所述第一二维图像的特征点的位置之间的距离最小；

所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小。

10.根据权利要求8或9所述的装置，其特征在于，

所述建模模块，具体用于：

根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；

根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第一处理器执行时实现如权利要求1-5任一权利要求所述方法的步骤。

12.一种用于三维建模的装置，包括存储器、第二处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被第二处理器执行时实现如权利要求1-5任一权利要求所述方法的步骤。