[发明专利]一种基于层次化特征子空间学习的人体行为识别方法

说明书

本发明公开了基于层次化特征子空间学习的人体行为识别方法，方法包括：将人体行为视频样本划分成训练样本和测试样本，提取并编码视频样本的手工特征和深度特征，分别以手工特征和深度特征的特征向量表示每一视频样本；设置视频样本的样本标签，采用训练样本的手工特征和深度特征的特征向量以及对应的样本标签作为输入，训练层次化特征子空间学习模型，生成子空间投影矩阵和行为类别的决策边界；利用子空间投影矩阵学习测试样本的手工特征和深度特征的子空间特征向量；计算并比较测试样本的子空间特征向量到各个行为类别的决策边界的距离，判别测试样本的行为类完成识别操作；本发明提高了子空间特征表达的辨识力，且具有良好的识别精度和效率。

技术领域

本发明属于视频行为识别技术领域，具体涉及一种基于层次化特征子空间学习的人体行为识别方法。

背景技术

基于视频的行为识别是人工智能发展和计算机视觉领域的研究热点，在智能安全监控、智能机器人、人机交互、虚拟现实和游戏控制等领域都有重要的市场需求和应用价值。学习辨识力强的视频特征表达是提高行为识别精度的关键，然而，不同行为的相似性和同一行为的差异性，增加了行为描述和识别的复杂性。

目前，大多数学者致力于挖掘新的手工底层特征、或者构建更深更复杂的深度学习模型，探索包含更多信息的特征表示。这些算法虽然能够在一定程度上提高识别精度，但复杂的模型也降低了算法的效率和识别速度。

发明内容

本发明目的是针对上述现有技术的人体行为识别模型复杂、算法效率低和识别速度慢的问题，提供一种基于层次化特征子空间学习的人体行为识别方法，该方法考虑从多视角子空间学习的角度，融合基于手工特征和深度特征的互补特征表达实现对人体行为的识别操作，具体技术方案如下：

一种基于层次化特征子空间学习的人体行为识别方法，所述方法包括：

将人体行为识别的视频样本划分成训练样本和测试样本，提取并编码视频样本的手工特征和深度特征，并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本；

对每一视频样本设置独有的样本标签，采用训练样本的所述手工特征和所述深度特征的特征向量以及对应视频样本的所述样本标签作为输入，训练层次化特征子空间学习模型，生成子空间投影矩阵和行为类别的决策边界；

利用所述子空间投影矩阵，学习测试样本的所述手工特征和所述深度特征的子空间特征向量；

计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离，并判别测试样本的行为类，完成人体行为识别操作。

进一步的，将人体行为识别的视频样本划分成训练样本和测试样本，提取并编码视频样本的手工特征和深度特征，并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本的步骤包括：

生成手工特征的特征向量：稠密采样并跟踪视频多帧图像的特征点，提取视频样本的稠密运动轨迹，并计算基于稠密运动轨迹的梯度方向直方图、光流方向直方图和运动边界方向直方图，将所述梯度方向直方图、光流方向直方图和运动边界方向直方图连接，作为手工特征；将所述手工特征进行Fisher Vector编码，生成基于所述手工特征的列向量；

生成深度特征的特征向量：将训练样本的RGB图像、光流图像分别输入两个深度卷积神经网络中，训练深度空间模型和深度时间模型，并采用所述深度空间模型或所述深度时间模型的顶层全连接层作为空间流或时间流的深度特征；并池化每个视频所有帧图像的空间流或所有光流图像的时间流深度特征，并将池化的结果连接，生成基于所述深度特征的列向量。

进一步的，对每一视频样本设置独有的样本标签，采用训练样本的所述手工特征和所述深度特征的特征向量以及对应视频样本的所述样本标签作为输入，训练层次化特征子空间学习模型，生成子空间投影矩阵和行为类别的决策边界的步骤包括：

构建训练样本的层次化特征子空间学习模型：