[发明专利]一种基于层次化特征子空间学习的人体行为识别方法

权利要求书

1.一种基于层次化特征子空间学习的人体行为识别方法，其特征在于，所述方法包括：

将人体行为识别的视频样本划分成训练样本和测试样本，提取并编码视频样本的手工特征和深度特征，并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本；

对每一视频样本设置独有的样本标签，采用训练样本的所述手工特征和所述深度特征的特征向量以及对应视频样本的所述样本标签作为输入，训练层次化特征子空间学习模型，生成子空间投影矩阵和行为类别的决策边界；其步骤为：

构建训练样本的层次化特征子空间学习模型：

其中，Z_v为所述训练样本在第v个视角下的列向量表示，P_v为所述子空间投影矩阵，X表示所述手工特征向量和深度特征向量的共有特征子空间，H表示所述样本标签，W表示所述决策边界；

将所述列向量Z_v以及所述样本标签H作为所述层次化特征子空间学习模型的输入，采用迭代交替算法来优化所述层次化特征子空间学习模型，获得所述子空间投影矩阵P_v和所述决策边界W；

利用所述子空间投影矩阵，学习测试样本的所述手工特征和所述深度特征的子空间特征向量；

计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离，并判别测试样本的行为类，完成人体行为识别操作。

2.如权利要求1所述的层次化特征子空间学习的人体行为识别方法，其特征在于，将人体行为识别的视频样本划分成训练样本和测试样本，提取并编码视频样本的手工特征和深度特征，并分别以所述手工特征和所述深度特征的特征向量表示每一视频样本的步骤包括：

生成手工特征的特征向量：稠密采样并跟踪视频多帧图像的特征点，提取视频样本的稠密运动轨迹，并计算基于稠密运动轨迹的梯度方向直方图、光流方向直方图和运动边界方向直方图，将所述梯度方向直方图、光流方向直方图和运动边界方向直方图连接，作为手工特征；将所述手工特征进行Fisher Vector编码，生成基于所述手工特征的列向量；

生成深度特征的特征向量：将训练样本的RGB图像、光流图像分别输入两个深度卷积神经网络中，训练深度空间模型和深度时间模型，并采用所述深度空间模型或所述深度时间模型的顶层全连接层作为空间流或时间流的深度特征；并池化每个视频所有帧图像的空间流或所有光流图像的时间流深度特征，并将池化的结果连接，生成基于所述深度特征的列向量。

3.如权利要求1所述的基于层次化特征子空间学习的人体行为识别方法，其特征在于，利用所述子空间投影矩阵，学习测试样本的所述手工特征和所述深度特征的子空间特征向量的步骤包括：

构建测试样本的层次化特征到子空间的变换模型：

其中，P_v表示所述子空间投影矩阵，表示测试样本的层次化特征表达，表示测试样本的子空间特征表达。

4.如权利要求3所述的基于层次化特征子空间学习的人体行为识别方法，其特征在于，所述计算并比较测试样本的子空间特征向量到各个行为类别的所述决策边界的距离，并判别测试样本的行为类，完成人体行为识别操作的步骤包括：将所述子空间特征向量和所述决策边界做矩阵乘法运算，得到测试样本对所有行为类别的响应值，选择最大响应值对应的行为类别作为测试样本的识别结果，完成人体行为的识别操作。