[发明专利]一种从深度图像中获取手部三维参数化模型的方法

说明书

本发明公开了一种从深度图像中获取手部三维参数化模型的方法，步骤如下：获取深度图像序列和深度相机内参；利用手部的深度图像序列和对应的深度相机参数，重建粗略的手部的三维点云；人工去除粗略的手部三维点云中的非手部点云与噪声点云，得到精细的手部三维点云；通过对精细的手部三维点云三阶段的迭代优化，获取用户个性化的手部三维参数化模型。本方法通过深度图像序列即可获得用户个性化的手部三维参数化模型。由于用户个性化的手部三维参数化模型相比传统无模型或通用手部模型提供了更多基于用户的先验信息，因此本发明可以在进行手势姿态估计时具有更高的精度和适配性，在人机交互，康复医疗等具体场景下具有应用前景。

技术领域

本发明属于计算机视觉领域，尤其涉及一种从深度图像中获取手部三维参数化模型的方法。

背景技术

传统的基于计算机视觉的无模型手势姿态估计中经常会遇到遮挡(包括自遮挡)、分辨率低、噪声等问题，这些问题对最终的姿态估计结果会产生较大影响。相对于传统的无模型方法，基于手部参数化模型的手势姿态估计方法给手势姿态估计任务提供了较强的先验知识，使之能够最大限度在有遮挡、低分辨率等条件下提供较为优秀的性能。目前使用最广泛的手部参数化模型即为MANO模型(hand Model with Articulated and Non-rigiddefOrmations)。MANO模型是Javier Romero等人于2017年公开发表的一种参数化手部模型。根据2018年以来国内外手部姿态估计的相关研究工作表明：使用MANO参数化模型，对于估计出一个合理且准确的手势姿态，有着至关重要的作用。

MANO模型用一组参数来定义三角化的手部三维网格其中为手部的形状参数，为手部的姿态参数，代表通过轴角表示的16个手部关节角。具体来说，MANO模型首先由一个平均模版定义，模版中有778个顶点。形状混合函数以作为输入，输出描述手部模型的混合形状。姿态混合函数以作为输入，输出因手部姿态造成的模型变化。形状混合函数和姿态混合函数的输出结果和被施加在平均模版为了得到最后的手部三维网格模型通过混合皮肤函数W(·)，对每一个手指部分的顶点根据混合权重计算旋转量，对每个关键点进行旋转操作。

对于特定模型的形状混合参数B_S，其本身是通过主成分分析从一组平放动作手型的形状空间中提取出主成分向量S_n的线性组合。主成分向量依次乘以线性系数并累加即可以得到个人定制化的手部形状混合参数B_S，对应的线性系数即为形状参数

发明内容

本发明的目的在于针对获取手部参数化模型的需求，提供一种从深度图像中获取手部三维参数化模型的方法。

本发明的目的是通过以下技术方案来实现的：一种从深度图像中获取手部三维参数化模型的方法，该方法包括以下步骤：

(1)获取深度图像序列和深度相机内参，包括以下子步骤：

(1.1)使用结构光深度相机拍摄用户平放于平整桌面的双手，得到手部深度图像序列；

(1.2)读取深度相机的相机内参，包括焦距和中心点偏移；

(2)由步骤(1)得到的手部深度图像序列和对应的深度相机内参，重建粗略的手部三维点云，包括以下子步骤：

(2.1)根据第一帧深度图像和深度相机内参获得三维点云，并将第一帧的相机坐标系作为世界坐标系构建三维网格模型，对于之后的深度图像序列，执行步骤(2.2)；

(2.2)根据单帧深度图像和相机内参获得三维点云并计算点云中每一点的法向量；

(2.3)将当前帧的三维点云和通过光线投影根据上一帧相机位姿从三维网格模型投影得到的点云进行配准，计算当前帧的相机位姿；