[发明专利]一种用于自然手势识别的多模态渐进式层级融合方法

说明书

本发明公开了一种用于自然手势识别的多模态渐进式层级融合方法，包括：1获取多模态数据并进行预处理和特征提取；2构建多模态渐进式层级融合深度学习网络，包括并行的用于提取单模态特征CNN子网络和融合不同模态层级特征的Transformer子网络；3构建模态缺失检测模块和决策层后处理机制；4分别在不同的CNN子网络和Transformer子网络的决策层之间引入KL散度损失函数，并各子网络的联合交叉熵损失函数训练模型，获得最终的自然手势识别模型。本发明提升了手势识别的鲁棒性，同时保证对多模态信息完全和不完全样本的识别性能，从而能促进基于手势的人机交互系统的推广应用。

技术领域

本发明属于生物信号处理领域，具体的说是一种用于自然手势识别的多模态渐进式层级融合方法。

背景技术

基于手势识别的人机接口越来越受到学术界和商业界的青睐，是一个直观可行的人机交互方案。基于表面肌电信号(Surface Electromyograpy,sEMG)和惯性传感物理信号(Inertial MeasurementUnit,IMU)的多模态手势识别一方面由于具备便携性和可穿戴的优势，克服了基于视觉类的手势识别方案通常需要固定场所等不足；另一方面多模态识别方案通过获取不同模态信号的互补信息，提供了更鲁棒的手势识别性能。人体肌肉收缩时伴随的sEMG反映了运动关节活动强度和伸屈状态，以及手势完成过程中手的运动、形状、位置和朝向等信息，在识别细粒度的手势识别方面具有独特优势；IMU信号具有更好的鲁棒性和稳定性，在动作识别领域经常被使用。同时，多模态方案有效克服了基于单一模态的手势识别方案的局限性，如肌电信号具有天然的非平稳性和微弱性，肌电信号会由于出汗、电极偏移和运动噪声等情况的干扰而出现信号质量下降的问题；特别的，截肢患者在截肢部位的肌电信号会更加微弱且低信噪比，从而导致基于肌电的手势识别性能严重下降，影响手势交互的体验，甚至引发误操作等安全问题。IMU等物理信号存在易受外界环境干扰，传感器需要校准等不足，同样会造成识别不准确的问题。

采用多模态信号融合方案提高手势识别准确性和鲁棒性是一种可靠方案。一般有两种传统多模态融合策略：前期融合或者后期融合。前期融合是指先将两种信号按一定规则融合，然后送入一个分类器得到手势分类结果，该策略能够较好地利用两种信号之间的交互信息，但是对于单模态信息利用不充分。后期融合是指先分别用两种信号训练两个分类器，然后按一定规则融合两个分类器的分类结果得到最终的分类结果，该策略能够充分利用单模态信号信息，但是忽略了模态间的交互信息。如何更高效地进行多模态信息的融合是一个具有挑战性的任务。另外，现有的多模态手势识别方法都是在一个强假设的条件下进行的，即假设测试时多模态信息都是存在的，对于测试阶段模态缺失情况下的基于sEMG和IMU的多模态手势识别研究尚浅，而多模态手势识别人机接口在实际使用时由于各种原因导致数据缺失必然会导致性能下降，提高模型对模态缺失样本的识别性能具有重要应用意义。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种用于自然手势识别的渐进式层级融合方法，以期能提升手势识别的鲁棒性，同时能保证对多模态信息完全和不完全样本的识别性能，从而能促进基于手势的人机交互系统的推广应用

本发明为达到上述发明目的，采用如下技术方案：

本发明一种用于自然手势识别的多模态混合融合方法的特点在于，包括以下步骤：

步骤1、获取多模态手势数据集X＝{sEMG,ACC}及其手势类别标签集合Y，并对多模态手势数据集X进行预处理和特征提取，从而构建含信号特征图样本的训练集；其中，sEMG表示稀疏通道的表面肌电信号，ACC表示加速度计信号；

步骤1.1、数据预处理：

对表面肌电信号sEMG和加速度计信号ACC分别进行滤波、归一化和活动段滑窗分割，得到包含N₁个原始肌电信号样本的肌电信号样本集合S_raw和包含N₁个加速度计信号样本的加速度计信号样本集合A_raw；