[发明专利]一种融合肌电和微惯性测量单元多模态信号的手势识别方法

权利要求书

1.一种融合肌电和微惯性测量单元多模态信号的手势识别方法，其特征在于，包括如下步骤：

(1)获取肌电和微惯性测量单元数据，数据预处理，包括以下子步骤：

(1.1)被试按照预设的手势顺序做出相应的手势，通过肌电电极和微惯性测量单元采集若干被试的若干手势动作的肌电数据和运动数据，采集的运动数据包括加速度、陀螺仪和磁力计数据，一个手势动作的若干次重复对应一个数据文件，在数据文件中存储对应的手势标签；

(1.2)对采集的运动数据进行上采样，使得加速度、陀螺仪和磁力计的采样率达到与肌电数据一致的采样率；

(2)进行训练集和测试集的划分，包括以下子步骤：

(2.1)根据数据文件中的手势标签，将每个数据文件分割为若干个信号段，每个信号段对应一次手势动作重复；

(2.2)按照被试内评估或被试间评估方法，将手势的多次动作重复分别划分到训练集和测试集中；

(3)信号分割和信号特征提取，包括以下子步骤：

(3.1)用滑动窗口将每个信号段分割为多个固定长度的子信号段；

(3.2)对每个窗口内的定长子信号段中的肌电数据的每个通道进行特征提取，提取多种时域、频域的肌电特征；

(3.3)对每个窗口内的定长子信号段中的运动数据的每个通道进行特征提取，提取多种时域、频域的运动特征；

(4)融合肌电特征和运动特征的手势识别，包括以下子步骤：

(4.1)采用多视图深度学习的网络结构，为肌电特征和运动特征分别设计一个用于提取浅层特征和深层特征的卷积神经网络的分支；每个分支的卷积神经网络包含2层卷积层，后接2层局部连接层和1层全连接层；

(4.2)将步骤(4.1)的每个分支在第1层卷积层后提取浅层特征，在最后1层全连接层后提取深层特征；将两个分支的浅层特征和深层特征分别进行融合，得到融合后的浅层、深层多模态信号特征；

(4.3)将融合后的浅层、深层多模态信号特征分别输入由1层全连接层、1层G-way全连接层和Softmax层构成的分类网络，再进行决策层融合，输出每一手势类别的概率；

(4.4)两个分支和分类网络共同构成手势识别模型，训练过程中将每个子信号段提取的肌电特征和运动特征作为模型的输入，对两个分支和分类网络的参数进行联合优化，得到最优的模型参数；

(4.5)将测试集中每个子信号段提取的肌电特征和运动特征作为步骤(4.4)训练好的手势识别模型的输入，输出手势识别结果。

2.根据权利要求1所述一种融合肌电和微惯性测量单元多模态信号的手势识别方法，其特征在于，所述步骤(1.1)中，通过肌电电极采集肌电数据的采样率为200Hz，通过微惯性测量单元采集的运动数据包括加速度、陀螺仪和磁力计数据，采样率分别为50Hz、50Hz和13.3Hz；采集过程中对于每个手势动作，被试都被要求重复3次，每两次重复之间都需要保持休息手势一段时间。

3.根据权利要求1所述一种融合肌电和微惯性测量单元多模态信号的手势识别方法，其特征在于，所述步骤(1.2)中，对运动数据通过线性插值实现上采样，使得加速度、陀螺仪和磁力计的采样率达到与肌电数据一致的采样率。

4.根据权利要求1所述一种融合肌电和微惯性测量单元多模态信号的手势识别方法，其特征在于，所述步骤(2.1)中，训练集和测试集的划分使用被试内评估，将每个被试的第1和第3次动作重复作为训练数据，第2次动作重复作为测试数据。

5.根据权利要求1所述一种融合肌电和微惯性测量单元多模态信号的手势识别方法，其特征在于，所述步骤(3.1)中，采用了多种配置的滑动窗口长度和滑动步长，其中滑动窗口长度为100ms或150ms或200ms，滑动步长保持为5ms。