[发明专利]一种基于融合特征的视频行为识别方法

说明书

本发明公开了一种新的基于融合特征的视频行为识别方法。针对单一特征描述符在描述视频空间信息的不足，提出将位置信息映射到描述符中进行融合编码。即在特征提取阶段分别提取视频的描述符特征和位置信息，生成相对应的视觉词典和位置词典，然后将位置信息映射到描述符中进行编码。在编码阶段为了克服传统VLAD方法只考虑特征与其最接近聚类中心的不足，提出在其基础之上另外计算每个聚类中心与其最相似特征的差值，并将两者结合起来作为特征的编码向量，获取更全面的视频表示。在两个大型数据库UCF101及HMDB51数据库上的实验比较结果表明，本发明提出的方法比传统VLAD方法具有较大的性能提升。

技术领域

本发明属于计算机视觉，行为识别技术领域，具体涉及基于手动提取特征的行为识别方法。

背景技术

视频中的行为识别作为计算机视觉的分支，应用领域非常广泛，比如智能监控、人机交互、基于内容的视频搜索等。现实环境录制的视频往往存在背景杂乱、相机抖动、尺度及视角变化等多种问题。且相同动作类之间可能存在差异、不同动作类之间又具有相似性。比如不同人走路的步子大小存在差异，蹲下和坐下这两个不同动作又有较大相似性。这些问题使得行为识别一直是计算机视觉领域一个非常具有挑战性的难题。

当前行为识别研究领域大体可以分为两类：基于深度学习的方法和基于传统的方法。深度学习中用于行为识别的主流方法是卷积神经网络CNN(Convolutional NeuralNetworks)及其衍生方法。CNN最先应用于图像识别领域并取得较大成功。但视频和图像不同，图像是静止的，视频是动态的。因此Annane等人提出构建双流CNN网络用于行为识别，将视频看做一段图像序列，空间流计算图像帧的CNN特征，时间流计算若干图像帧间的光流CNN特征，最后再将两者进行融合。这种方法虽然将立体的视频识别问题转化为了平面的图像识别问题，但却丢失了动作的时间关联信息。为了弥补双流架构在时间信息上的丢失，Wang L等人提出了三流CNN架构。该架构在二流架构的基础之上将时间流进一步细分，分为局部时间流和全局时间流。动作图像特征和光流特征分别作为空间流和局部时间流的输入，通过学习运动叠差图像MSDI(Motion Stacked Difference Image)的CNN特征作为全局时间流的输入。在UCF101及HMDB51数据库上的实验表明，基于三流CNN架构的识别准确度比两流CNN方法分别高了1.7％和1.9％。还有一些研究者对CNN特征提取对象做了改进，比如Gkioxtari等人提出不对整个图像帧学习特征，而是在图像帧上先选择一个包含人体的包围盒作为主区域，然后根据主区域定义若干个次区域，利用最大值函数计算次区域包含的信息量并将其得分给主区域。然后利用RCNN(Region-based Convolutional Net-workmethod)对主区域和次区域进行训练学习得到视频的特征表示。该方法在数据库PASAL VOCAction dataset上获得了90.2％的平均准确度均值，超出同期其他方法。Cheron等人提出P-CNN(Pose based CNN)，该方法是先对输入的视频进行姿势估计，然后对身体不同部分提取CNN特征，再将各个部分的特征融合起来，该方法在数据库JHMDB和MPII Cookingdataset上均领先同期方法。

传统的方法就是对视频特征进行手动提取，然后再训练模型进行预测分类。相较于深度学习的端到端的方法，传统方法由于所提取特征可能并不能完全满足后续的分类任务要求，所以目前在性能上无法与端到端的方法相比。但手动提取的特征针对性更强，且在训练速度和对训练数据量的要求上都比基于深度模型的方法有优势。更何况经过多年的研究，许多优秀的特征提取和描述方法被开发出来并获得较好的识别效果。