[发明专利]基于虚拟惯性测量信号生成模型的动作识别方法及系统

说明书

本发明提出了一种基于虚拟惯性测量信号生成模型的动作识别方法及系统，包括构建包括若干训练样本的训练样本集；利用所述训练样本集，对基于生成对抗网络模型的虚拟惯性测量信号生成模型进行迭代对抗训练，在肢体表面肌电信号与肢体惯性测量信号之间构建起跨模态关联关系模型，实现由表面肌电信号生成虚拟的惯性测量信号，并将基于生成对抗网络模型的虚拟惯性测量信号生成模型应用于肢体动作识别中，通过输入的表面肌电信号生成尽可能逼真的虚拟惯性测量信号，进而在不更改硬件的情况下，拓展现有单模态肢体动作识别系统输入信息的模态数量，提升其识别人体动作时的精度。

技术领域

本发明涉及动作识别技术领域，特别是涉及一种基于虚拟惯性测量信号生成模型的动作识别方法及系统。

背景技术

肢体动作识别系统主要通过表面肌电电极、惯性测量单元(IMU)或数据手套等传感器获取的肢体动作数据识别用户的肢体动作，并将识别结果转化为对设备的指令，是实现自然人机交互的重要途径之一。其中肢体动作识别系统又分为单模态的肢体动作识别系统和多模态的肢体动作识别系统。单模态的肢体动作识别系统依赖一种类型传感器获取的肢体动作数据进行肢体动作识别，而多模态的肢体动作识别系统依赖两种或多种类型传感器获取的肢体动作数据进行肢体动作识别。

多模态的肢体动作识别系统由于增加了输入数据的模态数量，对于提升识别复杂肢体动作的准确率具有重要的意义。表面肌电信号可用于解析手指和手腕运动，而肢体动作惯性测量信号可用于解析前臂运动和位置，因此融合表面肌电与运动传感信号的多模态肢体动作识别系统将有助于提升肢体动作识别系统在识别复杂肢体动作时的精度。另一方面，虽然多模态的肢体动作识别系统相比的单模态的肢体动作识别系统可实现更高的识别精度，其需要多模态肢体动作数据作为输入，导致硬件的传感器数量和种类都有所增加，也增加了硬件成本和研发难度。

针对以上问题，本发明结合生成对抗网络模型，在前臂表面肌电信号数据与肢体动作惯性测量信号数据之间构建此类跨模态关联关系模型，提出了一种基于虚拟惯性测量信号生成模型的动作识别方法及系统。

发明内容

本发明的目的是提供一种基于虚拟惯性测量信号生成模型的动作识别方法及系统，解决现有的动作识别方法中，采用单模态的肢体动作识别系统的精度不够，而采用多模态的肢体动作识别系统又会增加硬件成本以及研发的复杂程度的问题。

为实现上述目的，本发明提供了一种虚拟惯性测量信号生成模型的训练方法，包括以下步骤：

构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号；

构建虚拟惯性测量信号生成模型；所述虚拟惯性测量信号生成模型为生成对抗网络模型；所述虚拟惯性测量信号生成模型中包括参考特征提取器、生成器和判别器；所述虚拟惯性测量信号生成模型用于根据表面肌电信号生成对应的虚拟惯性测量信号；

利用所述训练样本集，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型。

可选地，所述参考特征提取器用于对输入其的信号进行特征提取，得到参考信号特征；

所述生成器用于：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将参考特征提取器输出的所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述参考特征提取器以及所述判别器；

所述判别器用于判别输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度；

所述生成器根据所述近似程度调整生成器中的各权重系数。