[发明专利]基于三维空间映射的指尖运动跟踪方法

权利要求书

1.一种基于三维空间映射的指尖运动跟踪方法，其特征在于，该方法包括以下步骤：

①采集指尖视频，得到指尖在二维图像中的像素坐标；

②对采集到的指尖二维像素坐标进行坐标系转换，得到指尖对应的三维坐标；

③建立系统运动模型；

④采用步骤②得到的指尖三维坐标作为初始化滤波器的位置参数，初始化滤波器；

⑤通过当前时刻状态值与指尖的运动模型推算出下一时刻的预测位置；

⑥计算新一帧图像中的指尖三维位置，作为观测位置，再通过预测位置和观测位置对指尖运动进行估计，得到校正位置；

⑦更新卡尔曼滤波器，重复步骤②至步骤⑥，连续稳定地跟踪指尖运动。

2.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于：所述步骤①包括以下具体步骤：

第一步：实验者穿戴上视频采集设备Hololens，并移动指尖；

第二步：通过Hololens采集包含指尖运动的视频；

第三步：计算视频帧中指尖点的二维像素坐标(u_k,v_k)，其中k为时刻。

3.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于，所述步骤②包括以下具体步骤：

第一步：设定实验者在做指尖运动时，手臂的初始状态为向人体朝向正前方伸直，指尖运动的全过程保持手臂伸直状态；

第二步：根据人体手臂运动规律，推断出指尖在三维球面上运动；

第三步：图像像素坐标系转换到图像物理坐标系，得到指尖物理坐标(x_k,y_k)；

具体转换方法为：

A、设定指尖点的像素坐标为(u_k,v_k)；

B、依据式(1)的坐标转换规则进行转换得到物理坐标为(x_k,y_k)：

第四步：根据摄像机纵向视场角α和横向视场角β，以及图像长度a和宽度b，得到指尖点的三维坐标，具体方法为：

Ⅰ、设定实验者手臂长度为R；

Ⅱ、通过式(2)表达的指尖点和相机的角度θ关系，得到指尖点的三维坐标为

4.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于，所述步骤③包括以下步骤：

第一步：实验并分析人指尖运动规律；

第二步：将指尖与沙盘要素进行交互的指尖运动分成三个过程：第一个过程：当手指尖开始运动，匀加速移动至沙盘中待操作对象周围；第二个过程：在与待操作对象相交前，减速至相交位置；第三个过程：选中待操作对象后，指尖使用匀速运动与操作对象开始进行交互；其中，第一个过程和第二个过程采用匀加速模型，第三个过程采用匀速模型。

5.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于，所述步骤⑤中采用指尖的位置和速度描述指尖点的运动状态，由以下步骤实施：

第一步：设定指尖点的位置为当前速度为利用式(3)的匀速运动模型公式，预测出下一时刻指尖点的三维位置

第二步：设定指尖点的位置为当前速度为加速度为利用式(4)的匀加速运动模型公式，预测出下一时刻指尖点的三维位置

6.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于：所述步骤⑥包括以下具体步骤：

第一步：将步骤②得到的k+1时刻的指尖三维坐标作为运动指尖点的观测位置；

第二步：结合步骤⑤得到的运动指尖点的预测位置，经过卡尔曼滤波得到指尖点的真实位置，具体步骤为：

Ⅰ、定义指尖运动状态向量对应的观测向量控制向量为其中T为相邻两帧之间的时间间隔；

Ⅱ、在匀速运动模型时，状态方程式为x(k+1)＝A·x(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)，结合卡尔曼滤波算法方程组，得到下一时刻指尖点的三维位置

Ⅲ、在匀加速运动模型时，状态方程式x(k+1)＝A·x(k)+B·u(k)+η(k)，状态向量预测方程为：x(k|k-1)＝A·x(k-1|k-1)+B·u(k)，得到下一时刻指尖点的三维位置