[发明专利]基于手势和语音进行机器人在线示教的方法

摘要

本发明公开基于手势和语音进行机器人在线示教的方法，包括以下步骤：S1、基于手势的粗调过程；S2、基于语音的微调过程；S3、结合手势与语音来进行机器人示教。本发明提出了一种机器人在线示教的方法，包括了手势示教和语音示教，操作者可以通过手势的粗调和语音的微调相互结合的方式来指导机器人完成相应的动作。相比现有的技术，显得更加的自然，灵活，方便，易操控，操作者可以不必把精力放在如何操作机器人上，而可以全心全意的操控机器人完成某些任务。

主权项

1.基于手势和语音进行机器人在线示教的方法，其特征在于，包括以下步骤：S1、基于手势的粗调过程；S2、基于语音的微调过程；S3、结合手势与语音来进行机器人示教；所述步骤S1包括：1)手势坐标系统Leap Motion是通过一个手势跟踪系统来进行手势位置和方向数据的捕获，其中设有三个坐标系，1：世界坐标系X_WY_WZ_W2：Leap Motion坐标系X_LY_LZ_L3：手掌坐标系X_HY_HZ_H；由手掌坐标系X_HY_HZ_H向Leap Motion坐标系X_LY_LZ_L的变换可以代表手势位置；假设LeapMotion坐标系X_HY_HZ_H与手掌坐标系X_LY_LZ_L在X轴、Y轴、Z轴的旋转方向分别为φ、θ、ψ，则这些旋转角(φ、θ、ψ)可以代表手势方向；2)通过间隔卡尔曼滤波来进行位置估计通过Leap Motion获取到的手势位置不够精确，使用间隔卡尔曼滤波解决这个问题，间隔卡尔曼滤波的模型表示如下：这里是k时刻的n×1状态向量，是n×n的状态转换矩阵，是n×l控制输出矩阵,是l×1的输入向量，和代表噪音向量；是k时刻的m×1的测量向量，是m×n的观察矩阵；其中通过间隔卡尔曼滤波的位置估计，将手势状态x'_k在时刻k的状态表示如下：x′_k＝[p_x,k,V_x,k,A_x,k,p_y,k,V_y,k,A_y,k,p_z,k,V_z,k,A_z,k]   (3)在这个过程中，噪音向量表示为：w'_k＝[0,0,w'_x,0,0,w'_y,0,0,w_z]^T   (4)其中(w'_x,w'_y,w_z)是手掌加速度的过程噪音；通过间隔卡尔曼滤波融合后的手势位置数据就比较精确，可以用来对机器人进行粗调控制操作；3)通过改进的粒子滤波来进行姿态估计四元数算法能用来进行刚体方向的估计，使用改进的粒子滤波来增强数据融合；在t_k时刻，后部密度的近似值定义为：其中是t_k时刻的第i个状态粒子，N是样本数目，是t_k时刻的第i个粒子的标准权重，δ(·)是狄拉克函数；因此，所分析的粒子能被计算如下：在t_k+1时刻每个粒子的四元数分量可以表示如下：其中ω_axis,k是角速度，t是样本时间。