[发明专利]一种结合跨模态关联关系模型的肌电信号手势识别方法

摘要

本发明公开了一种结合跨模态关联关系模型的肌电信号手势识别方法，步骤如下：设计一种结合深度学习和对抗学习的跨模态关联关系模型，并对其网络结构参数进行优化；将肌电信号和跨模态关联关系模型生成的虚拟手部姿态作为输入，设计一种基于多模态融合的手势分类深度学习框架，并对其网络结构参数进行优化；将测试数据输入到训练好的跨模态关联模型中，输出虚拟手部姿态，再由虚拟手部姿态与肌电信号输入到训练好的手势分类模型中得到手势类别。本发明基于跨模态关联关系模型及多模态融合的深度学习框架对手势进行识别。使用基于生成式对抗网络的跨模态关联关系模型和多模态融合的肌电手势识别方法能够有效提升基于单帧的手势识别率。

主权项

1.一种结合跨模态关联关系的肌电信号手势识别方法，其特征在于，包括如下步骤：(1)获取肌电信号及手部姿态数据，数据预处理，包括以下子步骤：(1.1)从公开数据集NinaProDB1、NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl‑hdemg中获取手势动作肌电信号；(1.2)对获取的手势动作肌电信号进行滤波降噪；(1.3)为公开数据集NinaProDB3、NinaProDB4、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl‑hdemg生成手部姿态数据。(2)训练数据集和测试数据集的划分，包括以下子步骤：(2.1)根据获取到的肌电信号手势标签，将每个肌电信号文件中的肌电信号和手部姿态数据文件中的手部姿态数据分别分割为若干个手势段，每个手势段包含一次动作重复，且手势段中的肌电信号和手部姿态数据每帧对应；(2.2)按照被试间评估方法，将手势的多次动作重复分别划分到训练数据集和测试数据集中，完成训练和测试数据集的划分。(3)构建肌电图像：单帧肌电信号的每个通道的数据重新排布，使得每两个通道均能够相邻，肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为1。(4)构建基于生成式对抗网络的跨模态关联关系模型，包括以下子步骤：(4.1)设计基于生成式对抗网络的跨模态关联关系的模型结构，模型结构包含生成器和判别器；由生成器生成虚拟手部姿态数据，由判别器判断其与输入肌电信号是否匹配；(4.2)将训练数据集中当前帧肌电图像与前一帧手部姿态数据作为生成器训练时的输入，当前帧手部姿态数据作为生成器训练时的监督信息，生成器的输出与肌电信号结合作为判别器训练时的输入，判别器的输出为肌电信号与手部姿态数据是否匹配，通过对抗学习，对模型参数进行逐步逐一优化，得到最优模型参数。(5)基于跨模态关联关系模型的肌电信号多类手势识别，包括以下步骤：(5.1)设计多模态融合的分类模型结构，模型结构主要由卷积神经网络构成，并通过早融合的方式将肌电信号与手部姿态数据这两个模态的数据进行融合；多模态网络对输入的肌电信号和虚拟手部姿态数据分别构建肌电图像和手部姿态图像，再进行特征提取，最终进行手势标签的识别；(5.2)由步骤(4)训练得到的最优模型参数、输入肌电图像及休息手部姿态数据，得到与肌电信号对应的虚拟手部姿态数据；(5.3)将步骤(5.2)中生成的虚拟手部姿态数据和肌电信号作为步骤(5.1)的输入数据对模型进行训练，得到最优模型参数，完成分类模型的训练；(5.4)将测试数据集中的每帧肌电信号构建其肌电图像，然后由步骤(4)训练得到的最优模型参数、输入肌电图像和休息手部姿态数据，得到测试数据集中肌电图像对应的虚拟手部姿态数据；(5.5)将每帧肌电图像和生成的虚拟手部姿态数据输入到步骤(5.3)中训练好的分类模型中，输出分类结果。