[发明专利]基于多关节数据融合的手势识别系统及方法

权利要求书

1.一种基于多关节数据融合的手势识别方法，其特征在于，采用基于多关节数据融合的手势识别系统，所述系统包括：

手套；

位于所述手套的手背位置的电池单元、控制单元、第一惯性传感器单元、通信单元和交互单元，所述控制单元分别与所述第一惯性传感器单元、所述通信单元和所述交互单元电连接，所述电池单元分别为所述控制单元、所述第一惯性传感器单元、所述通信单元和所述交互单元提供电能；以及

位于所述手套的指关节处的第二惯性传感器单元，所述第二惯性传感器单元与所述控制单元电连接，所述电池单元还为所述第二惯性传感器单元提供电能；

其中，所述控制单元通过所述第一惯性传感器单元和所述第二惯性传感器单元分别采集手掌和手指关节的角度和加速度数据，进行手势识别；

所述手套的手背和指背处分别设置有卡扣，所述手套的手背的卡扣用于固定所述电池单元、所述控制单元、所述第一惯性传感器单元、所述通信单元和所述交互单元，所述手套的指背处的卡扣用于固定所述第二惯性传感器单元；

所述第一惯性传感器单元位于所述手套的手背中心位置处，所述第二惯性传感器单元包括多路惯性传感器，所述多路惯性传感器分别位于手指各个关节处；

所述方法包括如下步骤：

控制单元通过第一惯性传感器单元和第二惯性传感器单元捕获手掌和手指关节的三轴角度和加速度原始数据；

所述控制单元对所述三轴角度和加速度原始数据进行归一化和数字滤波处理，得到预处理数据；

所述控制单元通过模糊分类器提取弯曲度和张开度特征，并通过方差计算运动状态特征，所述运动状态特征与手掌三轴角度、加速度数据作为特征数据；

所述控制单元利用单一型手势识别模型对特征数据进行预测，预测的标签即为目标手势，通过交互单元输出手势；

所述控制单元通过第一惯性传感器单元和第二惯性传感器单元捕获手掌和手指关节的三轴角度和加速度原始数据之前，还包括用户通过交互单元选择训练模式或预测模式；

所述控制单元对所述三轴角度和加速度原始数据进行归一化和数字滤波处理，得到预处理数据之后，还包括如下步骤：

若为训练模式，利用标定的预处理数据分别对弯曲度模糊分类器和张开度模糊分类器进行训练，否则跳过此步骤；

所述通过模糊分类器提取弯曲度和张开度特征，并通过方差计算运动状态特征，所述运动状态特征与手掌三轴角度、加速度数据作为特征数据之后，还包括如下步骤：

若为训练模式，利用标定的特征数据对单一型手势识别模型进行训练，更新并保存模型；

若为预测模式，利用单一型手势识别模型对特征数据进行预测，预测的标签即为目标手势，通过交互单元输出手势。

2.根据权利要求1所述的基于多关节数据融合的手势识别方法，其特征在于，所述利用标定的预处理数据分别对弯曲度模糊分类器和张开度模糊分类器进行训练，包括如下步骤：

设定模糊分类器类别为弯曲度或张开度；

若为训练模式，选择不同类别的基准手势，提取标定的基准手势对应的手指和手掌三轴角度数据作为模糊分类器的训练集；

更新并保存模糊分类器；

从下一个手势中提取未标定的手势数据，利用模糊分类器进行预测，以预测结果中类别占比最多的标签标定该手势数据，以标定后的手势数据数据和上一次模糊分类器的输入作为新的训练集，重复上一步骤直至手势为空。

3.根据权利要求1所述的基于多关节数据融合的手势识别方法，其特征在于，所述手套的手套本体采用柔性材料，且所述手套在佩戴时至少部分包覆佩戴者的手背和指背。

4.根据权利要求1所述的基于多关节数据融合的手势识别方法，其特征在于，所述通信单元用于按照预设的数据格式与服务器或其他手势识别系统进行通信，所述交互单元用于显示识别的手势和播放对应语音，以及接收用户的输入信息。