[发明专利]一种基于可穿戴设备的多关节追踪方法

摘要

一种基于可穿戴设备的多关节追踪方法，步骤为：可穿戴设备向计算设备发射超声波进行声学测距，同时利用惯性传感器收集手臂运动的相关数据发送给计算设备。计算设备首先离线构建存储手臂前臂指向与上臂指向映射关系的3D点云，然后接收超声波并根据超声波的飞行时间计算测距结果，同时从可穿戴设备中接收手臂运动的惯性传感器数据，接着利用惯性传感器数据估算出手臂前臂的指向，根据估算结果去3D点云中查询手臂准确指向的候选集，再通过多模融合算法结合声学测距数据从候选集中选出正确的手臂指向，最后进行可视化显示，从而实现对手腕、手肘和肩部三个关节的追踪。

主权项

1.一种基于可穿戴设备的多关节追踪方法，包括以下步骤：步骤1，离线构建前臂与上臂指向映射关系的3D点云，包括：(1.1)定义手臂旋转的自由度，在所构建的人体模型中，手臂的旋转用四个旋转自由度来表示：肩膀屈曲/伸展角θ1、肩膀外展/内收角θ2、肩膀向内/向外旋转角θ3及肘关节屈曲/伸展角θ4；(1.2)根据步骤(1.1)中定义的旋转自由度构建3D点云，θ1、θ2、θ3、θ4首先分别从最小值以5°为单位递增取至最大值，然后依据人体几何模型计算出各组旋转自由度下对应的前臂和上臂的指向向量对，形成手臂指向的3D点云，具体如公式(1)、(2)所示，其中x_init代表手臂初始指向向量，代表由角θ₁、θ₂计算得到的旋转矩阵，代表由角θ₃、θ₄计算得到的旋转矩阵。根据已有关于人体关节活动范围的医学研究，规定θ₁的取值范围为‑60°至180°，θ₂的取值范围为‑40°至120°，θ₃的取值范围为‑30°至120°，θ₄的取值范围为0°至150°。步骤2，利用可穿戴设备的超声波传感器KS102发射超声波，同时利用惯性传感器MPU9150收集手臂运动的相关数据，并通过无线通信芯片NRF24L01发送给计算设备，包括：(2.1)加速度计和陀螺仪等传感器以采样频率100Hz所采集到的加速度a＝[ax,ay,az]和角速度ω＝[ωx,ωy,ωz]，其中下标x、y、z分别代表惯性传感器坐标系下的X轴正方向分量、Y轴正方向分量和Z轴正方向分量。步骤3，计算设备树莓派通过超声波传感器KS102接收超声波，并计算手腕与空间参考点(此处选为计算设备的位置，超声波接收器装在计算设备上)之间的距离d，先测量超声波从可穿戴设备(戴在手腕上)到空间参考点所用的传播时间T，再根据公式d＝V·T计算出距离，d为测量距离，V为当前温度下超声波的传播速度，采样频率10Hz、测距范围1m内时的测距误差为1cm，同时通过无线通信芯片NRF24L01与可穿戴设备通信，从可穿戴设备中接收手臂运动的加速度a和角速度ω；步骤4，计算设备利用步骤3中手臂运动的相关数据，估算出手臂前臂的指向，并从3D点云中查找出手臂正确指向的候选集，包括：(4.1)根据步骤3获取的加速度a计算重力在手腕坐标系中的分量Ga，根据步骤3获取的角速度ω计算当前时刻的手腕旋转四元数q(t)，q(t)＝q(ω)*q(t‑ΔT)*q(ω)‑1，q(t‑ΔT)是上一时刻的手腕旋转四元数，t是当前时刻，ΔT是采样周期，再根据q(t)计算重力在手腕坐标系中的分量Gω，将Ga、Gω输入到互补滤波器中，得到补偿误差e，通过e对q(t)进行校准得到校准后的手腕旋转四元数q(t)′，将q(t)′、q(t)′输入到卡尔曼滤波器中，得到校准后的手腕旋转四元数q(t)″，最后通过q(t)″计算当前时刻的手臂前臂指向xwrist(t)；(4.2)利用步骤(4.1)计算出来的前臂指向x_wrist(t)在3D点云中查找相应<前臂指向，上臂指向>的组合，用来表示，i是手臂指向组合的序号，查询得到的组合不只有一个，所有这些组合构成手臂正确指向的候选集X；步骤5，利用步骤3中的超声波测距结果，结合多模融合算法，从步骤(4.2)得到的候选集X中找出与手臂实际指向最相似的指向作为最终的手臂指向，包括：(5.1)利用步骤(4.2)得到的候选集X，对每一个<前臂指向，上臂指向>的组合结合用户前臂臂长L_fore和上臂臂长L_upper，根据人体模型计算当前时刻用户手腕的预估位置pos_i(t)，具体如公式3所示；(5.2)根据步骤(5.1)得到的用户手腕的预估位置posi(t)，计算手腕到空间参考点的预估距离di(t)，具体如公式(4)所示，其中x_ref是手腕和空间参考点在人体坐标系中的x轴坐标，y_ref是手腕和空间参考点在人体坐标系中的y轴坐标，z_ref是手腕和空间参考点在人体坐标系中的z轴坐标。人体坐标系以肩关节为原点，x轴的正半轴平行于肩关节向外，y轴的正半轴与重力方向相反，z轴的正半轴垂直于躯干向前；(5.3)根据步骤(5.1)得到的用户手腕的预估位置posi(t)，计算手腕运动的预估加速度ai(t‑ΔT)，具体计算方法如公式(5)、(6)、(7)所示，其中V是手腕运动的预估速度，t是当前时刻，ΔT是采样周期。(5.4)计算前臂指向的预估值与测量值之间的相似度，具体如公式(8)所示，其中P(i|x_wrist(t))是第i个前臂指向的预估值与测量值x_wrist(t)之间的相似度，是由步骤(4.2)查询点云得到的，取自点云中的手臂指向组合是前臂指向预估值的标准差。(5.5)计算手腕到空间参考点距离的预估值与测量值之间的相似度，具体如公式(9)所示，其中P(i|d_i(t))是手腕到空间参考点的预估距离d_i(t)与测量距离d(t)之间的相似度，预估距离d_i(t)是由步骤(5.2)计算得到的，测量距离d(t)是由KS102超声波模块测量得到的，此时手腕的位置为pos_i(t)、前臂指向为t是当前时刻，σ_d是手腕到空间参考点预估距离的标准差。(5.6)计算手腕运动加速度的预估值与测量值之间的相似度，具体如公式(10)所示，其中P(i|a(t‑ΔT))是步骤(5.3)计算的手腕运动的预估加速度a_i(t‑ΔT)与步骤3获取的测量加速度a(t‑ΔT)之间的相似度，此时手腕的位置为pos_i(t)、前臂指向为t是当前时刻，σ_a是手腕运动加速度预估值的标准差。(5.7)对步骤6中的三个相似度进行多模融合，找到与测量值相似度最大的预估值的序号i，根据i从步骤(4.2)中的手臂指向的候选集X中找出当前时刻的正确手臂指向具体如公式(11)所示，步骤6，计算设备根据所构建的人体模型及步骤(5.7)得到的手臂指向通过OpenGL、Unity3D等绘制出手臂在3D空间中的相应位置从而实现可视化，实现对肢体多关节的追踪，包括：手腕、手肘及肩部。