[发明专利]基于多体素块的手几何运动重建方法及装置

权利要求书

1.一种基于多体素块的手几何运动重建方法，其特征在于，包括以下步骤：

根据首帧的深度数据获取人手骨架，并对多体素块进行初始化，所述根据首帧深度数据获取人手骨架，并对多体素块进行初始化，进一步包括：使用所述多体素块分别对人手的手掌和手指进行重建；利用所述首帧获得的人手骨架获取预设姿态下的骨架，并得到首帧人手骨架相对于所述预设姿态骨架的运动；利用所述预设姿态的人手骨架获取每个体素块的尺寸；将所述预设姿态的人手骨架嵌入到所述多体素块中，并为所述每个体素计算最近的两根手骨；利用首帧手骨架的运动驱动多体素，以将所述首帧的深度数据融合到所述多体素块中，获得人手的初始模型；

通过所述多体素块中已重建好的手模型对手进行运动估计，以得到新的人手运动，其中，手的运动由手骨的运动完全表达，即Θ＝{dq(p_j)|p_j∈P₀∪P₁∪P₂∪P₃∪P₄∪P₅}，其中，dq(p_j)为由对偶四元数表示的手骨p_j的运动，P₀、P₁、P₂、P₃、P₄和P₅分别表示手掌、大拇指、食指、中指、无名指和小拇指所包含的手骨；求解手的运动即求解Θ，使得能量最小，其公式为：其中，v为当前深度图D所包含的手数据点，TSDF(v,Θ)为将多体素块中的tsdf场经Θ运动后得到的tsdf场在v处的值；以及

根据所述人手运动将当前深度数据融合到所述多体素块中，更新手的几何模型，以同时重建手的运动和所述几何模型。

2.根据权利要求1所述的基于多体素块的手几何运动重建方法，其特征在于，所述将所述新的深度数据融合到所述多体素块中，更新手的几何模型，以同时重建手的运动和所述几何模型，进一步包括：

利用前一帧的人手运动作为初始值，并驱动当前预设姿态下的多体素块的tsdf场，以获得运动后的tsdf场；

通过将当前深度数据约束到所述运动后tsdf场过零点，以求解人手的运动；以及

利用所述人手的运动驱动体素块中的体素，将所述当前深度数据融合到所述多体素块中，更新人手模型。

3.根据权利要求2所述的基于多体素块的手几何运动重建方法，其特征在于，体素的运动可表示为：

T(x)＝SE3(normalize(w1·dq(p1)+w2·dq(p1))，

其中，dq(p)为手骨p的运动由对偶四元数表示，normalize()是对对偶四元数进行归一化，SE3()是将对偶四元数转化为变换矩阵T，p1和p2为两个距离最近的手骨，w1和w2为影响权重，d(x_s，p)表示体素到手骨线段的最近距离，x_s为体素的标准坐标，x_s＝R_ix+t_i，x为体素的局部坐标，每个体素块的局部坐标系到标准坐标系的旋转R_i和平移t_i。

4.根据权利要求3所述的基于多体素块的手几何运动重建方法，其特征在于，所述多体素块中人手模型的更新为：

其中，{S(x)，W(x)}为体素中存储的tsdf值和其置信度，μ表示截断长度，η为：

进一步地，其中，x_c为运动之后体素的相机坐标，T_c为世界坐标系到相机坐标系之间的变换，x_c^z为x_c的z坐标，K表示相机投影矩阵。