[发明专利]基于三维空间映射的指尖运动跟踪方法

说明书

本发明提供一种基于三维空间映射的指尖运动跟踪方法。针对手势跟踪和指尖交互的准确性要求，以及三维指尖点在二维图像中的投影存在运动估计误差的问题，本发明充分利用计算机技术，引入滤波算法，采集指尖在视频帧中的二维位置信息；根据手指尖运动生理特征，通过坐标转换获得指尖的三维位置信息，进行高精度的指尖三维运动估计；进一步的结合指尖运动规律拟合出复合运动模型、实现指尖运动的稳定跟踪。本发明可以精准反映指尖的位置信息，实现了稳定、准确的指尖运动跟踪。

技术领域

本发明涉及计算机视觉和运动目标跟踪领域，具体涉及一种基于三维空间映射的指尖运动跟踪方法。

背景技术

人机交互和目标跟踪是目前研究的热点和难点，而指尖跟踪作为人机交互任务的基础，已成为人机交互领域中至关重要的研究问题。Hololens是一款增强现实头显设备，是集增强现实场景展现、人机交互于一身的可穿戴智能眼镜设备，该设备可获取包含指尖的视频数据。

视频目标跟踪是计算机视觉中的一项重要任务，是指对视频序列中的目标状态进行持续推断的过程，其任务在于通过在视频的每一帧中定位目标，以生成目标的运动轨迹，并在每一时刻提供完整的目标区域。视频跟踪技术在军事和民用方面都有着十分广泛的应用。传统目标跟踪方法通过数据关联完成观测数据与目标间的分配，再通过滤波技术完成目标状态估计。常用的目标跟踪方法包括：卡尔曼滤波算法、核相关滤波算法、最近邻法、联合概率数据关联(JPDA)、多假设跟踪等。卡尔曼滤波(Kalman Filter)算法是基于递推线性最小方差估计，它的主要原理是采用信号和噪声的状态空间模型，将最小均方误差作为最佳估计准则，再利用前一时刻的预测值和当前时刻的观测值来校正更新对状态变量的估计，得到当前时刻的估计值，它分为预测和更新两个步骤，通过更新迭代使得系统得到最佳的状态，并且具有计算量小、最优化自回归数据处理的特点。

但在二维图像中，当指尖点运动到摄像头成像边缘时，指尖点之间的距离变化通常小于实际指尖运动位移变化，图像中展现的指尖运动状态不能对应实际指尖运动，即二维图像的指尖位移无法描述指尖的真实运动，因此仅通过视频进行目标跟踪无法实现高精度高稳定性的指尖运动跟踪。

发明内容

本发明的目的是：提供一种高精度、高稳定性的基于三维空间映射的指尖运动跟踪方法。

本发明的技术方案是：本发明的基于三维空间映射的指尖运动跟踪方法，包括以下步骤：

①采集指尖视频，得到指尖在二维图像中的像素坐标；

②对采集到的指尖二维像素坐标进行坐标系转换，得到指尖对应的三维坐标；

③建立系统运动模型；

④采用步骤②得到的指尖三维坐标作为初始化滤波器的位置参数，初始化滤波器；

⑤通过当前时刻状态值与指尖的运动模型推算出下一时刻的预测位置；

⑥计算新一帧图像中的指尖三维位置，作为观测位置，再通过预测位置和观测位置对指尖运动进行估计，得到校正位置；

⑦更新卡尔曼滤波器，重复步骤②至步骤⑥，连续稳定地跟踪指尖运动。

进一步的方案是：上述步骤①包括以下具体步骤：

第一步：实验者穿戴上视频采集设备Hololens，并移动指尖；

第二步：通过Hololens采集包含指尖运动的视频；

第三步：计算视频帧中指尖点的二维像素坐标(u_k,v_k)，其中k为时刻。

进一步的方案是：上述步骤②包括以下具体步骤：

第一步：设定实验者在做指尖运动时，手臂的初始状态为向人体朝向正前方伸直，指尖运动的全过程保持手臂伸直状态；