[发明专利]一种从深度图像中获取手部三维参数化模型的方法

权利要求书

1.一种从深度图像中获取手部三维参数化模型的方法，其特征在于，包括以下步骤：

(1)获取深度图像序列和深度相机内参，包括以下子步骤：

(1.1)使用结构光深度相机拍摄用户平放于平整桌面的双手，得到手部深度图像序列；

(1.2)读取深度相机的相机内参，包括焦距和中心点偏移；

(2)由步骤(1)得到的手部深度图像序列和对应的深度相机内参，重建粗略的手部三维点云，包括以下子步骤：

(2.1)根据第一帧深度图像和深度相机内参获得三维点云，并将第一帧的相机坐标系作为世界坐标系构建三维网格模型，对于之后的深度图像序列，执行步骤(2.2)；

(2.2)根据单帧深度图像和相机内参获得三维点云并计算点云中每一点的法向量；

(2.3)将当前帧的三维点云和通过光线投影根据上一帧相机位姿从三维网格模型投影得到的点云进行配准，计算当前帧的相机位姿；

(2.4)根据计算得到的相机位姿，将当前帧的点云与三维网格模型进行融合，更新三维网格模型；

(2.5)根据当前帧的相机位姿，通过光线投影从更新后的三维网格模型投影得到当前视角下的点云，并计算点云中每一点的法向量，用来对下一帧的输入深度图像进行配准；重复执行步骤(2.2)-(2.5)直到完成对深度图像序列的处理；

(2.6)将三维网格模型转换为点云，得到粗略的手部三维点云；

(3)由步骤(2)得到粗略的手部三维点云，人工去除非手部点云与噪声点云，得到精细的手部三维点云，包括以下子步骤：

(3.1)剔除与手部三维点云不相连的点云；

(3.2)选择步骤(3.1)处理后的三维点云中属于所述桌面平面的非共线的三个点，根据三个点计算桌面的平面表示；

(3.3)根据桌面的平面表示，剔除远离手部点云一侧空间的三维点云；

(3.4)剔除步骤(3.3)处理后的三维点云中与手部三维点云不相连的点云，得到精细的手部三维点云；

(4)通过精细的手部三维点云获取用户个性化的手部三维参数化模型，包括以下子步骤：

(4.1)基于精细的手部三维点云及其投影到图像平面的指尖二维位置，优化求解手部三维参数化模型的全局旋转和平移参数；

(4.2)固定步骤(4.1)得到的全局旋转和平移参数，基于精细的手部三维点云及其投影到图像平面的指尖位置，优化求解手部三维参数化模型的形状和姿态参数；

(4.3)剔除一部分手指部分的点云，并基于处理后的手部三维点云进一步优化求解手部三维参数化模型的形状参数，最终得到用户个性化的手部三维参数化模型。

2.根据权利要求1所述的一种从深度图像中获取手部三维参数化模型的方法，其特征在于，所述三维网格模型通过名为TSDF的三维重建算法进行构建和更新。

3.根据权利要求1所述的一种从深度图像中获取手部三维参数化模型的方法，其特征在于，所述三维点云之间均通过名为ICP的点云匹配算法进行配准，并依据配准后的点云计算相机位姿。

4.根据权利要求1所述的一种从深度图像中获取手部三维参数化模型的方法，其特征在于，所述步骤(3)中，三维点云的选择和剔除使用能够直观表示的三维网格可视化软件处理，可以采用Meshlab、OpenSCAD。

5.根据权利要求1所述的一种从深度图像中获取手部三维参数化模型的方法，其特征在于，所述步骤(4.1)和(4.2)中，手部三维点云在固定相机内参下投影成图像，通过指尖检测算法得到手指指尖的二维位置，所述指尖检测算法可以通过OpenCV工具的轮廓检测方法进行。