[发明专利]基于稠密轨迹核协方差描述子的行为识别方法

说明书

本发明公开了一种基于稠密轨迹核协方差描述子的行为识别方法，主要解决现有技术未能考虑不同特征之间的非线性相关性，导致行为识别准确率低的问题。实现步骤是：1)提取稠密轨迹，对轨迹立方体中的每个像素点提取特征获取底层特征矩阵；2)计算底层特征矩阵的核协方差矩阵，并将其映射到欧式空间获取向量化的特征表示；3)利用轨迹立方体中所有的特征表示构建基于稠密轨迹的核协方差矩阵描述子；4)对核协方差矩阵描述子用BOW模型进行编码获取码字直方图，利用训练集的码字直方图训练SVM，将测试集的码字直方图在训练好的SVM中进行测试，获取行为识别结果。本发明进一步提高了对行为的描述能力，可用于视频监控等复杂环境中。

技术领域

本发明属于视频处理技术领域，特别涉及一种行为识别方法，可用于视频监控复杂环境中对视频行为的描述。

背景技术

视频行为识别在人机交互、虚拟现实、视频监控以及视频检索和分析等领域的广泛应用，引起了越来越多研究者的兴趣，具有重要的学术研究价值和很强的实用价值。在行为识别领域，视角变化，复杂背景等因素的存在增加了行为识别的难度，在这种情况下，由于人工局部特征对视频噪声，光照变化和复杂背景等影响具有鲁棒性，已经成为一个重要的研究方向。目前最流行的人工局部特征是基于稠密轨迹提取的梯度方向直方图HOG，光流方向直方图HOF和运动边界直方图MBH描述子，在各种具有挑战的数据库中能够获得较好的性能。然而，它们忽略了特征之间的联合统计特性，这对行为识别是非常重要的，另外，虽然协方差矩阵能够获取特征之间的相关性，但在复杂环境中，特征之间存在着较为复杂的关系，而协方差仅只能度量特征之间的线性关系，对行为主体的描述能力有限。

目前已提出的获取特征之间相关性的方法有：

(1)Bilinski P,Bremond F.Video covariance matrix logarithm for humanaction recognition in videos[C]//IJCAI 2015-24th International JointConference on Artificial Intelligence(IJCAI).2015，这种方法在稠密轨迹的基础上，提出视频协方差矩阵对数(VCML)描述子，模拟不同底层静态特征之间线性关系。该方法虽然考虑到了不同特征之间的关系，但只考虑了静态特征，并未考虑行为主体的动态特征，导致行为识别的准确率低。

(2)Yi Y,Wang H.Motion keypoint trajectory and covariance descriptorfor human action recognition[J].The Visual Computer,2017:1-13，这种方法在运动关键点轨迹的基础上构建了一个基于轨迹的协方差描述子，可以表示不同运动变量之间的线性关系，然而，该方法忽略了特征之间的非线性关系，无法在具有复杂环境的行为识别中获取特征之间存在的复杂关系。

发明内容

本发明目的是针对上述已有技术的不足，提出一种基于稠密轨迹核协方差描述子的行为识别方法，通过获取不同特征之间的非线性联合统计特性，增强对视频行为的描述能力，进一步提高行为识别的准确率。

实现本发明的技术关键是对底层特征矩阵求取核协方差矩阵，有效模拟各个特征之间的非线性关系，以构造基于稠密轨迹的核协方差矩阵描述子KCMDT，实现步骤包括如下：

(1)对视频序列提取长度为L的稠密轨迹，在每一帧中以每一个运动轨迹点为中心选取W×H大小的图像块，得到大小为W×H×L的随轨迹弯曲的轨迹立方体；

(2)对轨迹立方体中的每一个像素点，提取静态和动态特征，获取维数为d的底层特征向量；