[发明专利]一种基于融合注意力机制的人体行为识别方法

说明书

本发明涉及一种基于融合注意力机制的人体行为识别方法，利用卷积网络模块学习多源异构传感器信号内部的空间特征，融合各传感器特征向量，通过传感器通道注意力模块学习传感器数据间相关性，卷积网络模块的输出输入到循环神经网络模块中学得时序间关系，采用自注意力机制捕获输入序列中关键部分，决定每部分的输入权重，使用注意力门过滤噪声部分，保留注意力分数较高的部分，最终形成整个时间序列的特征向量，得到行为分类结果，通过引入注意力机制以分离不同人类行为下的传感器内关系、传感器间关系以及行为时序关系，提高了对于人类行动分类准确率；与现有技术相比，本发明具有准确率高、可解释强、拓展性好等优点。

技术领域

本发明涉及一种人体行为识别技术，尤其是涉及一种基于融合注意力机制的人体行为识别方法。

背景技术

在人体行为识别技术中，多关注人体日常执行频率最高、表征人体基本运动单元的动作，如行走、站立、静止、跑步、上下楼梯等，然而，行为的多样性和复杂性对人体行为的细粒度区分有了更高的要求。现有研究多用加速度计传感器采集用户数据，但单一传感器的研究难以很好地区分主体差异性及类间相似性带来的行为模式差异。其中主体差异性，即个体用户间因为生理特征产生的差异如年龄、性别等；类间相似性，即相似行为类别仅存在细微差异行为模式。例如，在看电视时，不同人具有极为不同的差异化行为模式；在跑步和走路时，不同人的传感器数据均表现出相似性。由于以上两大差异性的影响，人体行为细粒度的区分受加速度计、陀螺仪、磁力计等传感器影响程度不一。

已有的研究主要从以下方式对如何获取传感器模态间关系展开：(1)早期融合：初始融合所有数据作为模型输入，进行特征工程后得到识别结果；(2)传感器融合：单独考虑每个模态，融合不同的模态进行分类；或分别处理每个传感器轴信号。(3) 轴融合：为每个特征的每个单变量时间序列设计特定神经网络，整合所有通道的特征表示输入到最终的分类网络，消除不同传感器的轴间干扰。(4)共享参数融合：在轴融合的基础上不同任务的神经网络可以使用共享的参数提取通用特征，再针对不同任务的特点训练独有参数，允许了灵活的复杂性分布，以处理不同复杂程度的人类行为。

传统模态融合方式均容易丢失各模态内的细节相关性，为单个传感器轴信号分别设计模型又会忽视各传感器间作用，同时具有高研究成本，人类行为识别的准确性和可解释性有待进一步提高。传统模态融合方法在分类过程中会混入非主要行为特征的其他传感器噪声并产生误差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于融合注意力机制的人体行为识别方法，准确率高、可解释强、拓展性好等优点。

本发明的目的可以通过以下技术方案来实现：

一种基于融合注意力机制的人体行为识别方法，包括：

采集穿戴式设备上的多源异构传感器获取的人体姿态数据，构成数据集，并进行预处理；

将数据集输入训练好的深度行为识别模型，获得人体行为分类结果；

其中，所述的深度行为识别模型包括：

传感器通道注意力模块，用于提取多个传感器通道间的作用关系特征；

卷积网络模块，用于根据传感器通道间的作用关系特征，获取同一时刻下每个传感器特征通道的模态特征；

循环神经网络模块，用于根据模态特征的时间序列提取时间特征；

时序注意力模块，用于根据时间特征获取同一时间片内不同时刻的注意力权重，并根据注意力权重对时间特征进行加权，获得注意力特征；

全连接层行为判断模块，用于根据注意力特征，通过全连接层获取人体行为概率分布，并将概率最大的人体行为作为时间片内的人体行为分类结果。

进一步地，所述的预处理的具体过程包括：

对数据集进行滤波处理；