[发明专利]一种由粗到细的视频目标行为识别方法

摘要

本发明公开了一种由粗到细的视频目标行为识别方法，该方法首先利用姿态估计算法或者视频内标注信息获取人体关键点，裁剪缩放人体不同身体部位。以深度神经网络作为特征提取网络，提取不同部位区域的特征向量。利用提取出的不同部位特征向量，迭代训练分类器,寻找行为的最优粗类别划分。对于粗分类器和每个细粒度分类器，选取不同部位与全局特征向量进行级联。单独训练各个分类器。将粗粒度分类器和细粒度分类器分类结果概率融合，得到整个行为识别最终结果。本发明通过构造一个由粗到细的行为识别框架，利用级联行为人不同身体部位不同粒度的特征表达，针对性的训练分类器，从而有效的降低分错相似行为概率，提高了整体行为识别准确率。

主权项

1.一种由粗到细的视频目标行为识别方法，其特征在于：具体步骤如下：A、利用现有成熟的姿态估计算法或者视频内标注信息获取人体关键点信息，裁剪缩放人体不同身体部位图像：上半身，左手部，右手部，下半身部和全身部五个部位；B、以视觉计算组网络网络作为特征提取网络，通过卷积神经网络对输入视频的连续帧和光流帧中不同部位区域进行多层卷积和池化运算，提取VGG网络倒数第二层4096维的全连接层向量，利用最大、最小聚合策略聚合多帧的特征，级联视频帧和光流图像的特征，形成最后的不同视频i中不同部位P_j视频的特征向量C、利用提取出的不同部位特征与全局视频向量迭代训练支持向量机(Support Vector Machine,SVM)分类器,寻找最优粗分类类别与粗类别里所包含的细粒度行为种类；在JHMDB数据集中，利用公式(1)迭代分类后，将数据集行为分为三个粗类：上半身类行为、下半身类行为和其他类行为三个粗类；训练粗分类器中，采用真值映射方案，迭代训练粗分类器，将行为类别映射至不同粗类别，直到粗分类器输出粗类别错误率低于阈值；其中，N表示第j类行为包含的测试样本数，T表示行为类别总数，K表示划分的粗类别数；划分JHMDB数据集为K＝3个粗类别。表示j类行为的粗类别。其中：迭代训练粗粒度分类器，并且每个类别粗粒度分类错误率控制在0.3以下；测试时，测试视频得到粗粒度分类器识别结果概率D、训练细粒度分类器：每个细粒度分类器选取不同部位视频特征向量级联，针对当前包含的多种细粒度行为进行分类器训练，遍历视频的不同身体部位区域特征向量组合，找到针对当前细粒度行为分类器的身体部位最佳组合，最后特征向量级联了上半身、左右手部位区域和全图上下文区域特征向量；五、利用公式(3)将两级即粗粒度分类器和细粒度分类器分类结果概率融合，得到整个行为识别最终结果：其中，表示粗类别概率k表示预测的粗类别。表示细类别概率I_k(x_i)表示预测的粗类别k是否相等于视频序列x_i的粗类别