[发明专利]一种基于RGBD相机的人脸检测和修复方法

权利要求书

1.一种基于RGBD相机的人脸检测和修复方法，其特征在于：采用如下步骤，

步骤1：分别得到RGB人脸图像数据和深度图像人脸图像数据；

步骤2：利用RGB人脸图像数据，基于3DMM技术建立3D人脸点云模型；

步骤3：使用一帧或者多帧连续的深度人脸图像数据重建人脸点云；

步骤4：将步骤2和步骤3得到的两个人脸点云进行拟合；

步骤5：在完成两个点云的拟合之后，对拟合的结果进行平滑滤波；

步骤6：对拟合完成的3D人脸进行点云修复；

所述步骤6包括以下步骤，

步骤61：判断拟合后缺失的点云数据是否在基于深度图像重建的点云上有对应的数据，如果是，则进入步骤62，否则，进入步骤63；

步骤62：利用深度图像重建的点云数据作为该点的修复数据；

步骤63：判断拟合后缺失的点云数据是否在基于深度图像重建的点云的邻域上有数据，如果是，则进入步骤64，否则进入步骤65；

步骤64：则使用基于3DMM模型的点云数据结合基于深度图像重建的点云上该点领域内的所有点数据来估计修复数据；

步骤65：判断拟合后缺失的点云数据是否在基于3DMM模型的点云上是否有数据，如果是，则使用基于3DMM模型的点数据作为修复数据，否则跳过该点；

步骤7：对整个深度图像重建的点云数据进行遍历,输出修复后的点云数据，完成3D人脸数据的点云修复。

2.根据权利要求1所述一种基于RGBD相机的人脸检测和修复方法，其特征在于：所述步骤1包括如下步骤：

步骤1-1：RGB相机和红外相机构成了双目摄像机系统，从RGB摄像机和红外摄像机分别得到图像数据；

步骤1-2：在两个图像数据上分别进行人脸检测,因为深度图像是由红外图像计算得到，所以深度图像一般和红外图像像素保持一一对应的关系；

步骤1-3：确定图像数据中的人脸特征向量；

步骤1-4：利用两个相机画面的对应矩阵来计算RGB图像上的人脸关键点坐标向量在红外图像上的大致坐标位置,并在红外图像上检测到的人脸关键特征向量中选择距离最小的一个作为最优匹配结果。