[发明专利]基于时空骨骼特征及深度信念网络的人体行为识别方法

说明书

本发明属于计算机视觉领域，具体涉及基于时空骨骼特征及深度信念网络的人体行为识别方法，所述方法针对每一个动作，使用深度摄像机，获取骨骼序列；从所述骨骼序列中提取获得骨骼点时间序列特征，所述骨骼点时间序列特征包括动作过程中每个骨骼点的位移特征、骨骼点的速度特征和骨骼点的加速度特征；选取骨骼参考点，计算每一个骨骼点到所述骨骼参考点的相对位置，得到动作骨骼序列的空间特征；对所述骨骼点时间序列特征和所述动作骨骼序列的空间特征进行聚类，固定特征长度，建立全局动作描述算子；对所述全局动作描述算子降维，基于交叉验证和分类器完成动作的分类。

技术领域

本发明属于计算机视觉领域，具体涉及基于时空骨骼特征及深度信念网络的人体行为识别方法，所述方法能够根据人体骨骼点之间的特征对人体行为进行识别。

背景技术

人体行为识别是计算机视觉领域和人工智能研究的热点之一，在智能监控、人机交互等重要领域有着极为广泛的应用。随着深度摄像机的普及，基于3D骨骼序列的人体行为识别算法以简单高效的特点迅速成为该领域内重点研究方向之一。

现阶段，关于人体行为识别的研究内容主要分为三个方向：一，基于彩色视频流的人体行为识别；二，基于深度图像的人体行为识别；三，基于3D骨骼数据的人体行为识别。其中，基于彩色视频流的人体行为识别容易受到光照条件变化和复杂背景的影响。基于深度图像的人体行为识别特征提取复杂，计算成本高。基于3D骨骼数据的人体行为识别可直接获取人体部位的三维位置信息，无需考虑复杂背景对信息提取产生的影响，同时，利用骨骼数据提取运动特征简单高效。

但是，使用3D骨骼序列进行人体行为识别仍需要解决以下问题：(1)动作序列的长度不同给行为识别带来了影响，具体表现在动作时间序列的长短，如何对所提取的骨骼数据进行处理使得“因人而异”的影响降到最低是人体行为识别需要解决的一个基本问题；(2)提取动作之间区分度高的骨骼特征，为提高人体行为识别的准确率，如何设计骨骼特征使得同一类动作类内距离小，不同类动作类间距离大是提高识别准确率的关键问题；(3)特征数据的降维与优化，为了提高识别效率，降低计算成本，需要减少冗余的特征数据，数据的降维与优化是使用3D骨骼数据进行人体行为识别的另一个关键问题。

发明内容

针对上述技术问题，本发明提供一种及基于时空骨骼特征及深度信念网络的人体行为识别方法，利用骨骼序列，提取出动作的时空特征，使用特征聚合将每个动作的特征长度统一，最后使用深度信念网络，完成特征数据的降维、优化与动作分类。

本发明是通过以下技术方案实现的：

基于时空骨骼特征及深度信念网络的人体行为识别方法，所述方法包括以下步骤：

针对每一个动作，使用深度摄像机，获取骨骼序列；

从所述骨骼序列中提取获得骨骼点时间序列特征，所述骨骼点时间序列特征包括动作过程中每个骨骼点的位移特征、骨骼点的速度特征和骨骼点的加速度特征；

选取骨骼参考点，计算所述骨骼点到所述骨骼参考点的相对位置，得到动作骨骼序列的空间特征；

对所述骨骼点时间序列特征和所述动作骨骼序列的空间特征进行聚类，固定特征长度，建立全局动作描述算子；

对所述全局动作描述算子降维，基于交叉验证和分类器完成动作的分类。

进一步地，获取骨骼序列的方法具体为：针对每一个动作，使用深度摄像机，以摄像机坐标为原点，获取骨骼点的三维空间位置信息，形成一个表示该动作的骨骼序列。