[发明专利]一种基于三维连续动态手势识别的无人机人机交互方法

摘要

本发明公开一种基于三维连续动态手势识别的无人机人机交互方法，通过Kinect传感器获取人体骨骼跟踪数据，所述人体骨骼跟踪数据至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据；提取手势轨迹特征并对其进行预处理，所述预处理包括手势起止检测、平滑滤波处理、重采样和位置归一化；使用神经网络算法进行手势识别；将手势识别的结果转化对应成控制指令控制无人机的飞行。本发明能够准确识别手势，从而使得用户可以更自由、便捷地控制无人机飞行。

主权项

1.一种基于三维连续动态手势识别的无人机人机交互方法，其特征在于，所述方法包括以下步骤：S1：通过Kinect传感器获取人体骨骼跟踪数据，所述人体骨骼跟踪数据至少包括右手、左手、右肘、左肘、右肩和左肩的骨骼点跟踪数据；S2：提取手势轨迹特征并对其进行预处理，所述预处理包括手势起止检测、平滑滤波处理、重采样和位置归一化；提取手势轨迹特征的具体方法为：S2.1.1：将左手LH、左肘LE、右手RH、右肘RE的骨骼点位置信息三维坐标值(x，y，z)的每一帧分别按顺序排列成一列向量，此时代表动态手势的原始三维轨迹特征为：其中，表示第n帧深度图的4个骨骼点的特征向量，表示第n帧深度图中左手的x轴坐标；S2.1.2：定义基准点A(x_a，y_a，z_a)为左肩和右肩连线的中心，则基准点A即为左肩节点LS(x_LS，y_LS，z_LS)和右肩节点RS（x_RS，y_RS，z_RS)的中间值；S2.1.3：计算出基准点A后，釆用左肩和右肩的距离作为标准长度对右手RH、左手LH、右肘RE及左肘LE这4个骨骼点进行归一化处理：其中，表示第n帧深度图基准点，表示第n帧深度图的左肩，表示第n帧深度图的右肩；S2.1.4：采用归一化后的骨骼点的空间坐标变化来表示一段手势的特征向量：其中，表示手势的特征向量，是由按顺序排列组成的列向量，N代表这个序列有N帧深度图；所述手势起止检测包括以下步骤：S2.2.1：定义手势的运动能量函数E为前后两帧深度图中手部骨骼点的三维位置的变化之和，即左手、左肘、右手、右肘这4个骨骼点的移动距离之和，则手势的运动能量函数为：E＝d_LH+d_LE+d_RH+d_RES2.2.2：如果连续M帧E的值都大于预设的E的阈值，M≥1，则将第一次检测到E大于该阈值的那一帧作为手势开始的起点；S2.2.3：当检测到连续M帧E的值都小于预设的E的阈值，则将第一次检测到的E小于该阈值的那一帧作为手势结束的终点，即可从长序列中截取出手势序列；平滑滤波处理、重采样和位置归一化的具体方法包括以下步骤：S2.3.1：平滑滤波处理：对左手、左肘、右手、右肘这4个骨骼点进行平滑滤波处理，使这4个骨骼点的坐标为对其前后帧的坐标值取均值；S2.3.2：重采样：对于获得的长短不一的手势序列段，重采样利用均匀线性重采样的方式将所有手势序列进行处理使得两两相邻轨迹点的间隔相等，以消除不同用户做手势的速度差异；S2.3.3：位置归一化：为了使最终的手势轨迹具有位置不变性，将骨骼点的轨迹序列的每一点均减去初始的轨迹点；S2.3.4：将左手、右手、左肘及右肘4个骨骼点的手势轨迹分别采用上述的方法进行平滑滤波、重采样与位置归一化的处理，并将经过上述预处理的手势轨迹特征向量作为神经网络算法的输入，其中V_LH、V_RH、V_LE、V_RE分别表示左手、右手、左肘和右肘预处理后的轨迹序列；S3：使用神经网络算法进行手势识别；S4：将手势识别的结果转化对应成控制指令控制无人机的飞行。