[发明专利]一种基于融合特征的视频行为识别方法

摘要

本发明公开了一种新的基于融合特征的视频行为识别方法。针对单一特征描述符在描述视频空间信息的不足，提出将位置信息映射到描述符中进行融合编码。即在特征提取阶段分别提取视频的描述符特征和位置信息，生成相对应的视觉词典和位置词典，然后将位置信息映射到描述符中进行编码。在编码阶段为了克服传统VLAD方法只考虑特征与其最接近聚类中心的不足，提出在其基础之上另外计算每个聚类中心与其最相似特征的差值，并将两者结合起来作为特征的编码向量，获取更全面的视频表示。在两个大型数据库UCF101及HMDB51数据库上的实验比较结果表明，本发明提出的方法比传统VLAD方法具有较大的性能提升。

主权项

1.一种基于融合特征的视频行为识别方法，包括以下步骤：步骤1：输入训练视频集并进行采样，得到兴趣点；步骤2：对兴趣点进行特征提取，得到视觉特征和位置特征(x,y,t)；步骤3：对位置特征进行规范化处理，使得输入的任意视频的位置特征均在统一范围内。步骤4：利用k均值分别对兴趣点的视觉特征和位置特征进行聚类，得到相应的视觉词典和位置词典；步骤5：将视觉特征根据对应的视觉词典进行改进的聚合局部描述符编码得到视觉向量；步骤6：为每个兴趣点分配一个残差特征和一个组特征，然后对这两个特征依据位置词典的划分方式进行聚类、编码得到相应的残差向量和组特征向量。步骤7：将第5步得到的残差向量和组特征向量进行串联得到位置向量。步骤8：将第5步的视觉向量和第7步的位置向量进行串联得到视频的全局表示向量。步骤9：对第7步得到的全局表示向量进行归一化处理并将其与自身串联得到视频的规范后的视频表示向量。步骤10：将第9步得到的视频表示向量用于线性SVM，训练并得到分类器。