[发明专利]一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统

说明书

本发明公开一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统。该方法包括：1)输入训练集中所有行为样本的骨架点信息；2)通过添零补帧使各样本帧数一致；3)使用三向树状遍历法则对无序的骨架点进行重构；4)对重构后得到的特征图的拉普拉斯矩阵进行归一化处理；5)构建注意力感知网络和主体网络；6)将注意力感知网络和主体网络分层级连接；7)将重构的特征图分别输入主体网络和注意力感知网络，训练行为识别网络模型；8)利用训练好的行为识别网络模型进行行为识别。本发明能够显著提高行为识别的精度和效率。

技术领域

本发明属于机器人视觉技术和人机交互领域，具体涉及一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统；通过对无序的骨架点进行树形重构来更好的描述表达行为模式，并利用注意力网络对不同骨架点的重要性进行描述，为人体行为的分类提供合适的先验条件，可近一步减少人体行为识别的分类处理时间和提高后期行为识别的精度。

背景技术

行为识别是隶属于行为分析这一领域，针对给定包含某种运动的视频序列，按运动的类别给该视频序列加标签，可以被应用于人机交互、智能监控和视频分析等方面。然而，基于RGB的视频序列的人体行为识别算法性能仍然受限，人体遮挡、相机晃动、视角变换等都会带来很大的干扰和噪声。因此，选用骨架序列等深度数据可以避免这些问题，提高行为识别的精度和速度。

现有的一类方法(Sijie Yan,Yuanjun Xiong,and Dahua Lin.“Spatialtemporal graph convolutional networks for skeleton-based action recognition,”in Association for the Advance of Artificial Intelligence(AAAI),2018.)的基础是时空图结构，从骨架关键点序列构建时空图，在按照既定规则得到的时空图保留了骨架关键点的空间信息，并使得关键点的运动轨迹以时序边的形式得到表现。但是该方法默认所有的骨架点具有同样的重要性，这并不符合人类在区分不同行为时的经验认知。另一种方式(S.Song,C.Lan,J.Xing,W.Zeng,and J.Liu.“An end-to-end spatio-temporalattention model for human action recognition from skeleton data.”inAssociation for the Advance of Artificial Intelligence(AAAI),2017.)使用了LSTM作为注意力网络，获取不同骨架点的关键性信息。然而基于LSTM结构的网络复杂度较高，加上该注意力机制后的网络虽然检测精度有所提升，但是其算法效率低，不便之后的维护改进，也不适合应用于实际的场景。

发明内容

针对现有技术存在的技术问题，本发明的目的是提供一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统，首先对无序的骨架点进行树形重构，然后利用注意力网络对不同骨架点的重要性进行描述，可以进一步提高行为识别的精度和速度。

本发明采用的技术方案如下：

一种基于注意力感知和树形骨架点结构的人体行为识别方法，包括以下步骤：

1)输入训练集中所有行为样本的骨架点信息(三维坐标)；

2)进行数据预处理，通过添零补帧使各样本的帧数一致；

3)基于三向树状遍历法则对无序的骨架点进行重构，重构后得到的特征图作为新的数据源；

4)对构建的特征图的拉普拉斯矩阵进行归一化处理；

5)构建注意力感知网络和主体网络；

6)将注意力感知网络和主体网络分层级连接；

7)将重构的特征图分别输入主体网络和注意力感知网络，并进行训练，得到训练好的行为识别网络模型；