[发明专利]一种融合肌电和微惯性测量单元多模态信号的手势识别方法

说明书

本发明公开了一种融合肌电和微惯性测量单元多模态信号的手势识别方法，步骤如下：使用肌电电极和微惯性测量单元采集肌电数据和运动数据，并对两者进行同步处理后，进行训练集和测试集的划分；使用滑动窗口将每个信号段分割为多个固定长度的子信号段，并对每个子信号段的肌电数据与运动数据分别提取时域和频域特征；使用卷积神经网络分别提取肌电特征和运动特征的浅层和深层特征，并分别进行融合后输入分类网络，最后在决策层融合，输出每一手势类别的概率，识别模型进行训练后测试得到手势识别率。本发明融合肌电和微惯性测量单元多模态信号的手势识别方法能够充分利用肌电和运动数据各自的优势，故能更准确地识别同一被试的多种不同手势。

技术领域

本发明属于计算机与生物信号、运动信号相结合领域，尤其涉及一种基于深度学习和多视图、多模态学习的手势识别方法。

背景技术

表面肌电信号(surface electromyography,sEMG)是一种通过非侵入式的电极贴在皮肤表面来记录肌肉活动的生物信号，在人机交互、康复医学临床和基础研究等方向具有重要的学术价值和应用意义；微惯性测量单元信号(inertial measurement unit,IMU)是测量物体三轴姿态角以及加速度的装置，在运动控制的设备上具有广泛的应用，如汽车和机器人等。融合肌电与微惯性测量单元多模态信号的手势识别技术能够利用两个不同模态数据各自的优势，提升手势识别方法的准确性。其中多视图深度学习算法常用于多模态数据，其中经典多视图手势识别流程由数据预处理、特征空间构建、特征融合和分类组成。数据预处理部分主要对多模态的信号进行整流去噪，特征空间构建部分将预处理后的信号变换到特征空间使得类间具有更大的区分度，特征融合部分将各个视图构建的特征在特征空间下进行融合，最后用一个分类模型对融合后的多模态特征进行手势分类。

特征空间的构建部分和手势识别模型构建部分是提高识别准确率十分重要的两个部分。针对前者，很多研究人员致力于通过他们的生物领域知识提出新的特征表示，例如Phinyomark特征集；针对后者，在国内外的研究中，基于深度学习神经网络的分类器模型已成了主流的方法，其中最常用的两种网络框架为卷积神经网络和循环神经网络。

在当前的大数据时代，多模态数据已成为近来数据资源的主要形式。作为一种多模态数据形式，肌电和微惯性测量单元信号具有多源异构性，目前没有有效的方法将这类多源异构的多模态数据融合用于模式识别任务，而本发明提出了一种多视图深度学习的手势识别算法，将多模态数据在特征子空间实现融合，从而得到一个更具类区分度的多模态特征表示。

发明内容

本发明的目的在于针对多源异构的多模态数据，即肌电和微惯性测量单元信号，提供一种深度学习的多视图手势识别方法，通过设计基于多流卷积神经网络和特征融合机制的模型结构，提高手势识别的准确性。

本发明的目的是通过以下技术方案来实现的，一种融合肌电和微惯性测量单元多模态信号的手势识别方法，包括如下步骤：

(1)获取肌电和微惯性测量单元数据，数据预处理，包括以下子步骤：

(1.1)被试按照预设的手势顺序做出相应的手势，通过肌电电极和微惯性测量单元采集若干被试的若干手势动作的肌电数据和运动数据，一个手势动作的若干次重复对应一个数据文件，在数据文件中存储对应的手势标签；

(1.2)对采集的运动数据进行上采样，实现肌电数据和运动数据的同步；

(2)进行训练集和测试集的划分，包括以下子步骤：

(2.1)根据数据文件中的手势标签，将每个数据文件分割为若干个信号段，每个信号段对应一次手势动作重复；

(2.2)按照被试内评估或被试间评估方法，将手势的多次动作重复分别划分到训练集和测试集中；

(3)信号分割和信号特征提取，包括以下子步骤：

(3.1)用滑动窗口将每个信号段分割为多个固定长度的子信号段；