[发明专利]基于角度无关性的骨架行为识别方法、系统及设备

说明书

本发明涉及人体行为识别领域，具体涉及一种基于角度无关性的骨架行为识别方法、系统及设备，只在提高角度无关性骨架行为识别的准确率。本发明的基于角度无关性的骨架行为识别方法，包括：基于每个视角的骨架序列设计特定视角子网，通过空域注意力和时域注意力模块分别重点关注关键关节点和关键帧，通过多层长短时记忆网络学习每个视角序列的判别性特征；将各个特定视角子网的输出特征串联起来作为公共子网的输入，通过双向长短时记忆网络进一步学习角度无关性特征，通过视角注意力模块重点关注关键视角；提出正则化交叉熵损失函数推动网络多模块共同学习。本发明有效地提高了识别准确率，能够自动专注学习信息较多的视角特征。

技术领域

本发明涉及人体行为识别领域，具体涉及一种基于角度无关性的骨架行为识别方法、系统及设备。

背景技术

作为计算机视觉的一个重要研究领域，人体行为识别是通过输入数据进行人体行为分类识别的系统。从系统的输入输出角度来看，输入是一种或者多种人体行为相关的数据，数据为不同传感器通过一定频率采样得到的时间序列。系统的输出是人体行为的识别分类结果。一般来说，人体行为识别系统的输入分为四种形式的数据：RGB时间序列、骨架时间序列、深度图视频和红外线视频。随着深度传感器的快速发展，骨架数据的获取越来越方便快捷，因此，基于骨架的人体行为识别也受到越来越多的关注。在行为识别研究中，复杂的数据变化是该研究的一个主要挑战，骨架数据相比于传统的RGB数据更具有鲁棒性，但是在视角变化方面，基于角度无关性的骨架行为识别和基于角度无关性的RGB行为识别同样具有挑战性。

基于角度无关性的骨架行为识别技术，其关键在于三部分：一方面是如何提取判别性强的特征，一方面是如何减少角度变化对行为识别的影响，还有一方面是如何利用时域相关性对行为动作的动态变化建模。根据人体行为识别的建模方式，分为传统方法建模和深度学习方法建模。其中传统的方式分为两个过程：特征表征和动作的识别及理解。传统的特征提取方法有HOG(Histogram of Oriented Gradient)、SIFT(Scale-InvariantFeature Transform)等特征提取方法；提取后的特征通常采用常见的分类算法，如支持向量机(Support Vector Machine，SVM)进行分类识别。而随着深度学习理论的提出和发展，深度学习算法越来越多地应用于人体行为识别的研究。循环神经网络(Recurrent NeuralNetwork，RNN)致力于对视频信息的建模，将上几个隐含层数据作为当前时刻的输入，从而允许时间维度上的信息得以保留；基于长短时记忆(Long Short Term Memory，LSTM)的循环神经网络(RNN)是普通RNN模型的扩展，主要解决RNN模型中的梯度消亡现象。因此，近年来的大部分人体骨架行为识别都是利用深度学习中的基于LSTM的RNN模型。

当前的基于LSTM的角度无关性骨架行为识别方法的主要问题在于没有充分挖掘给定序列的全部信息以及识别准确率有待提高。具体来说，通过LSTM提取单个视角下视频序列的判别性特征，从而忽略了同一行为在多视角下视频之间的联系；同时多视角骨架数据中的每个关节点，每一帧以及每个视角都对角度无关性骨架行为识别有不同的作用，而仅通过LSTM的建模方式，骨架数据的不同组成结构对行为识别有相同的贡献，限制了角度无关性骨架行为识别的准确率。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于角度无关性的骨架行为识别方法、系统及设备，提高了角度无关性骨架行为识别的准确率。

本发明的一方面，提出一种基于角度无关性的骨架行为识别方法，包括：

将待识别的骨架时间序列按不同的视角，输入到训练好的骨架行为识别模型中；

利用所述训练好的骨架行为识别模型，计算待识别骨架时间序列的行为类别概率；

其中，

所述骨架行为识别模型，包括：预设数量的特定视角子网，以及公共子网；