[发明专利]一种视频中人体行为识别的方法

权利要求书

1.一种视频中人体行为识别的方法，其特征在于，具体包括以下步骤：

步骤S1：对视频进行预处理，获取整个视频所有帧的改进后的密集轨迹；

步骤S2：基于时间显著性和空间显著性对视频进行关键帧提取；

步骤S3：通过关键帧筛选步骤S1中获得的密集轨迹，对于关键帧的密集轨迹进行保留，去除非关键帧的密集轨迹；

步骤S4：在改进后的密集轨迹的基础上对视频进行基于层次轨迹束的视频表示；

步骤S5：提取关键帧的深度学习特征，对视频进行基于深度特征的视频表示；

步骤S6：将基于层次轨迹束的视频表示和基于深度特征的视频表示进行融合；

步骤S7：对融合后的视频进行SVM分类；

步骤S4的具体步骤如下：

步骤S401：将密集轨迹L＝[p_0,…,p_15]构建以轨迹特征点为中心的时空立方体，将其划分为小的时空块；所述的时空块的大小为2*2*3；

步骤S402：对每个时空块计算相应的梯度特征、光流特征以及运动边界特征，计算其梯度直方图HOG、光流直方图HOF、运动边界直方图MBH特征描述符；

HOG是将360°按每45°分成8个bin，以每个特征点为中心的时空块划分出的时空立方体中，每个像素的梯度大小和方向设为n(x)和θ(x)，则每个像素点在第j个bin上的分量

HOF计算方式与HOG类似，仅在HOG的基础上加入了0方向，用以表示大小为0或者极其小的光流分量的个数，分量共9维；

MBH将光流场分为水平分量I_u和垂直分量I_v，分别在x和y的光流图像上独立计算各自分量的HOG特征(MBHx_j、MBHy_j)；

步骤S403：每个叠加时空块得到结合补偿轨迹的局部特征描述符梯度直方图Trj-HOG、光流直方图Trj-HOF以及运动边界直方图Trj-MBH，定义如下：

步骤S404：随机采样256000条补偿轨迹，构建高斯混合模型GMM，构建视觉词典，GMM生成式模型可以表示为：

其中K是高斯核的个数，θ表示参数模型{π_k,μ_k,k＝1,…,K}，其中π_k,μ_k分别表示先验模式概率、均值向量，ζ(x′,μ_k,∑k)表示D维高斯分布，D是降维后的补偿轨迹维度特征；设特征集合为利用最大似然估计得出最优的GMM参数对特征描述符采用FV编码，估计特征空间点对应的概率密度函数；

步骤S405：利用高斯分布来拟合全部特征点，从而得层次轨迹束特征；

步骤S5的具体步骤如下：

步骤S501：采用混合时空双流网络，包括输入为单视频帧的空间卷积网络以及输入为累积光流；其中，单视频帧的大小为224*224*3；累积光流为224*224*2F的时间卷积网络，F为累积层数，设置为10；并采用UCF101数据集的第一个划分作为预训练数据集，预训练结束后把混合时空双流网络作为通用特征提取器，对其他视频提取卷积特征图谱；

步骤S502：混合层对时间特征和空间特征分别进行混合，对空间层采用sum融合方式，在任意时刻的融合空间特征图谱y_i,j,d表示为：

其中1≤i≤H,1≤j≤W,1≤d≤CH,H、W、CH分别对应视频的高度、宽度和通道数；

步骤S503：对时间层采用3D池化，对任意根据空间特征图谱在t＝1…T时间内叠加的时间特征图谱使用大小为H′*W′*L′的3D池化立方块对特征图谱进行最大池化；

步骤S504：保留并获取混合处理后的特征图谱，表示为C(X)＝{C_s,C_t}，其中H、W、L、CH分别对应视频X的高度、宽度、时间长度和通道数，C_s和C_t分别表示空间网络的特征图谱集合以及时间网络的特征图谱集合；

步骤S505：对特征图谱采用归一化策略来抑制部分神经元的激活突发问题，特征图谱归一化包括时空归一化和通道归一化两种方式；

步骤S506：进行时空归一化处理，对每一个通道独立归一化操作特征图谱，确保对于每个单独通道中特征图谱的范围；对C(X)中的任意特征图谱时空归一化特征为：

其中为第n个时空特征图谱的最大值；

步骤S507：进行通道归一化处理，对每个像素点在三个通道上的值得到归一化图谱，把每个点的特征值保持在一定的范围，使每个点具有相同的权重；对C(X)中的任意特征图谱通道归一化特征为：

其中为在(x,y,z)位置上不同特征通道的最大值；

步骤S508：在以改进密集轨迹为中心的3D时空块中，进行轨迹池化操作，计算出基于局部轨迹对齐的特征描述符，即TDD特征。