[发明专利]一种视频中人体行为识别的方法

说明书

本发明涉及人工智能领域，更具体的，涉及一种视频中人体行为识别的方法，本发明的主要算法思想为：首先对输入的视频片段进行预处理，使用六参数仿射模型模拟摄像机运动，通过仿射模型获取运动轨迹；接着对视频基于时间显著性和空间显著性进行关键帧提取；然后对关键帧提取改进密集轨迹，同时选择双流卷积神经网络作为特征提取器，对关键帧提取深度学习特征；对提取出来的特征进行归一化，并基于视频表示的对特征进行融合，融合基于深度特征的视频表示与基于改进密集轨迹特征的视频表示。本发明融合手工设计的改进密集轨迹特征IDT和深度学习特征，可更有效的挖掘两种特征的互补信息与视频中的行为模式，在视频人体行为识别取得更好的效果。

技术领域

本发明涉及人工智能领域，更具体的，涉及一种视频中人体行为识别的方法。

背景技术

当前人体行为识别的研究兴趣已经从拍摄环境良好控制下的简单行为识别转移到故事性电影、体育广播录像和家庭录像等无约束环境下更为现实的行为识别，在这种情况下的研究难度主要在于人体的行为活动容易受到诸如角度变化、摄像头抖动、光照、背景遮挡、背景杂斑快速无规律运动等众多因素影响，因此在此类视频中对人体运动产生的有效特征提取显得尤为重要，同时，不同的运动可能在视频中具有类似的表现，这也使得对提取出的特征构建具有足够辨别力的模型以及使用足够准确的分类方式对特征进行分类成为主要的研究内容。

由于局部特征析取算法不需要预处理视频片段，可直接从视频中提取特征，同时局部表示法更能适应背景移动、部分遮挡和摄像机角度变化等自然场景，局部特征方法更多地应用在视频人体行为识别的应用中。基于轨迹的方法是当前的研究热点之一，Wang等人提出了基于密集轨迹的方法，先在多尺度空间下密集采样提取大量的轨迹起始点，然后采用光流法和特征匹配得到下一帧轨迹点的位置，根据对应轨迹点形成固定长度的轨迹，再次从子时空立方体中提取相应的局部特征直方图，最后采用词袋模型得出最终的特征向量；在此基础上，Wang等人改进了密集轨迹，采用光流场来提取更精确的密集轨迹；Yi等人创造性地提出显著性的方法，在密集轨迹的基础上提取显著的轨迹，去除不显著的轨迹来更有效的获取特征。

近年来，基于深度表示方法在视频人体行为识别中表现出色。但在描述能力上，传统局部特征的局限之一在于缺乏语义信息。研究表明融合手工设计特征与深度特征，可更有效的挖掘两种特征的互补信息与视频中的行为模式，在视频人体行为识别取得更好的效果。

发明内容

为了解决视频人体行为识别技术中深度表示方法在描述能力上缺乏语义信息的不足，本发明提供了一种视频中人体行为识别的方法。

为实现以上发明目的，采用的技术方案是：

一种视频中人体行为识别的方法，具体包括以下步骤：

步骤S1：对视频进预处理，获取整个视频所有帧的改进后的密集轨迹；

步骤S2：基于时间显著性和空间显著性对视频进行关键帧提取；

步骤S3：通过关键帧筛选步骤S1中获得的密集轨迹，对于关键帧的密集轨迹进行保留，去除非关键帧的密集轨迹；

步骤S4：在改进后的密集架轨迹的基础上对视频进行基于层次轨迹束的视频表示；

步骤S5：提取关键帧的深度学习特征，对视频进行基于深度特征的视频表示；

步骤S6：将基于层次轨迹束的视频表示和基于深度特征的视频表示进行融合；

步骤S7：对融合后的视频进行SVM分类。

优选的，步骤S1的具体步骤如下：