[发明专利]一种基于双指角域特征的手势交互系统及其工作方法

摘要

本发明涉及一种基于双指角域特征的手势交互系统及其工作方法，包括数据采集模块、特征提取模块、手势识别模块、虚拟交互模块。数据采集模块：Leap motion初始化并使用Leap motion采集手势信息；特征提取模块：三维坐标预处理和手势特征提取；手势识别模块：将提取好的双指角域特征输入到SVM‑KNN分类算法中进行手势分类；虚拟交互模块：将Leap motion与Unity3D连接，实现分类后的不同手势对健身房场景内器械的不同交互控制。本发明提高了用户体验度，增强了用户沉浸感。

主权项

1.一种基于双指角域特征的手势交互系统，其特征在于，包括依次首尾连接的数据采集模块、特征提取模块、手势识别模块以及虚拟交互模块；所述数据采集模块用于：进行Leap motion初始化，获取Leap motion有效视野内的手势关节点三维坐标信息，手势关节点三维坐标信息包括五个手指和手掌中心点处的三维坐标信息以及方向信息，方向信息是指手指相邻指尖的方向夹角信息，采集范围为M个不同用户身上的S种不同手势，每个用户的每种手势各采集N次，M≥2，S≥2，N≥50；所述特征提取模块用于：预处理三维坐标信息和提取手势特征；预处理三维坐标信息是指对基于Leap motion采集的三维坐标信息进行归一化处理，剔除不必要或错误的手势坐标信息；提取手势特征是指提取手势的双指角域特征，包括计算相邻指间的距离以及相邻指尖在手掌平面投影所构成向量的夹角，并将其作为主要的特征进行手势识别；所述手势识别模块用于：获取手势数据的训练集和测试集，将手势数据集按照随机比例划分为训练集和测试集，手势数据集包含提取好的相邻指尖距离以及相邻指尖在手掌平面投影所构成向量的夹角，将划分好的训练集和测试集输入到SVM‑KNN算法中，对S种不同的手势进行识别分类，对分类好的S种手势形成S个不同的.txt数据样本集进行保存；所述虚拟交互模块用于：一方面，构建Unity3D健身房场景，导入到Unity3D中；另一方面，基于搭建好的Unity3D健身房场，完成Leap motion与Unity3D的连接，将S种手势形成S个不同的数据样本集输入到Unity3D中，实现S类不同手势对健身房场景中某类器械的交互控制。