[发明专利]人脸三维点云超分辨率融合方法及应用其的数据处理装置

权利要求书

1.一种人脸三维点云超分辨率融合方法，包括：

以扫描方式获取多帧三维人体点云数据，每帧三维人体点云数据至少包括人的脸部的点云数据；

对所述多帧三维人体点云数据分别进行三维人脸检测，截取获得多个对应于不同帧的初始人脸三维点云；

以第一迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵；

对于所有相邻帧对应的两个经过姿态校正的人脸三维点云顺序进行粗对准操作，所述粗对准操作计算获得使得人脸三维点云降维采样得到数据集中的对应点对数量最多的粗对准变换矩阵，其中，对应点对是指两个数据集中，距离小于2个数据分辨率的点对；

对所有相邻帧对应的两个粗对准操作后的人脸三维点云进行精对准操作，所述精对准操作通过以第二迭代方式对人脸三维点云进行点坐标转换直到人脸三维点云的误差满足预定条件；

从多个不同视角分别将所有经过精对准操作的人脸三维点云的可视点集进行融合操作获得超分辨率融合点云，并合并多次融合操作得到的超分辨率融合点云以获得超分辨率人脸三维点云；

所述融合操作包括：

将对应视角的可视点集投影到该视角对应的坐标平面；

将所述坐标平面的区域栅格化，将所有落入同一栅格内的点合并为一个融合点以获得栅格数据，该融合点垂直于所述坐标平面的坐标为所有落入栅格的点垂直于所述坐标平面的坐标的均值；

对所述坐标平面内的栅格数据进行插值和滤波；

将所述栅格数据映射到三维空间以获得超分辨率融合点云。

2.根据权利要求1所述的人脸三维点云超分辨率融合方法，其特征在于，以第一迭代方式对每个初始人脸三维点云进行姿态校正，直至本次迭代前和迭代后的人脸三维点云的旋转矩阵为单位矩阵包括：

根据迭代前的人脸三维点云的点云向量计算均值矩阵和协方差矩阵，其中，迭代前的人脸三维点云的点云向量为P＝[P₁,P₂,...,P_k,...,P_n]，P_k为第k个点的坐标向量，n为人脸三维点云的点数量；

对协方差矩阵进行SVD分解获得特征向量组成的矩阵和特征值组成的对角矩阵；

基于如下公式进行姿态校正获得迭代后的人脸三维点云的点云向量：

P'＝V(P-m)

其中，P'为迭代后的人脸三维点云，P为迭代前的人脸三维点云，V为特征向量组成的矩阵，即所述旋转矩阵，m为所述均值矩阵；

判断所述旋转矩阵是否为单位矩阵；

如果所述旋转矩阵为单位矩阵，则完成所述姿态校正；

如果所述旋转矩阵为非单位矩阵，则返回所述根据迭代前的人脸三维点云的点云向量计算均值矩阵和协方差矩阵的步骤，进行下一次迭代。

3.根据权利要求1所述的人脸三维点云超分辨率融合方法，其特征在于，所述粗对准操作包括：

以在前帧对应的经过姿态校正的人脸三维点云为参考对象、以在后帧的经过姿态校正的人脸三维点云为调整对象进行特征匹配，获取多个匹配的关键点对；

对于每对关键点对计算对应的点变换矩阵；

对于每个关键点对的点变换矩阵，计算与其它所有关键点对的点变换矩阵之间的矩阵距离，选取矩阵距离满足门限约束的多个关键点对的点变换矩阵进行最小二乘拟合获取备选点变换矩阵；

以每个备选点变换矩阵对调整对象进行点变换并计算对应点数量；

选取对应点对数量最多的备选点变换矩阵作为粗对准变换矩阵。