[发明专利]基于小波域联合统计描述子的行为识别方法

说明书

本发明公开了一种基于小波域联合统计描述子的行为识别方法，主要解决现有小波域行为识别技术对时空信息提取不充足、对系数间关系考虑不足和鲁棒性低的问题。其技术方案是：1.提取行为视频的稠密轨迹，并构建沿轨迹弯曲的立方体；2.对视频进行3D平稳小波变换分解，获得各方向的系数子带；3.在沿轨迹弯曲的立方体内，构建小波系数子带间互信息描述子；4.在沿轨迹弯曲的立方体内，按不同的邻域方向构建各级小波系数共现直方图描述子；5.串接互信息描述子和共现直方图描述子，得到小波域联合统计描述子；6.构建描述子的词袋模型，并使用SVM分类器进行识别。本发明提高了人体行为识别准确率，可应用于智能监控和人机交互。

技术领域

本发明属于视频处理技术领域，更进一步涉及一种行为识别方法，可用于智能视频监控和人机交互。

背景技术

在之前数十年中，人体行为识别及其相关研究领域向来被认为是计算机视觉学科中非常具有挑战性的科研方向。人体行为识别通过算法设计让计算机学习、分析、理解并识记人体行为，实现计算机对人体行为视频的分类判别。人体行为识别相关技术被广泛使用，如：摄像监控、多媒体语义标注与索引、行人跟踪和人机互动等，越来越多的学者和机构在相关方面相继进行了大量的研究工作。行为分类的本质就是对运动图像进行分析，其最根本的任务就是从序列中获取运动信息，从而分析出运动规律，行为识别目标产生的运动信息复杂多样，如何将这些底层特征有效的提取出来并分析其中的相关性，是行为识别方向上备受关注的研究课题。

小波变换因其优秀的时频特性，在图像和视频特征提取上获得了广泛的应用，此外小波变换的多尺度分析能力，也是充分挖掘数据信息有力保证。目前基于小波变换的行为识别有：

(1).Minhas R,Baradarani A,Seifzadeh S,et al.Human action recognitionusing non-separable oriented 3D dual-tree complex wavelets[J].ComputerVision–ACCV 2009,2010:226-235。这种方法将三维双树复小波变换用于行为的识别和分类。该方法在对视频数据进行小波分解前，将视频进行分割使其只包含运动目标的小三维立方体，以降低背景的干扰，复数的引入使得其所提特征能携带相频特性，以便提供更多的位置信息，且该方法对平移更稳定。相对于三维基本小波分解可以得到八个方向子带，该方法可获得32个方向子带，特征能提供的方向和其他运动信息也更加丰富。但是这种方法计算复杂度明显提高，且对视频分割准确度要求非常高，对复杂背景、遮挡等干扰较敏感。

(2).Shao L,Gao R.A Wavelet Based Local Descriptor for Human ActionRecognition[C]//BMVC.2010:1-10。这种方法将二维小波变换与兴趣点检测方法相结合用于人体行为识别。该方法先提取时空兴趣点，然后在兴趣点周围的立方体中进行二维小波分解，可以获得具备鉴别性和可靠性的描述子，特征维度低，对噪声、光照等影响具有一定的容许性，但该方法在进行小波分解时只选取局部立方体内的三个代表平面，对数据的覆盖范围不足，且使用兴趣点提取方法属于直接将二维分析扩展至三维，忽略了时域结构和空域结构的区别，所获取空时信息不充分。此外该方法特征构造时仅将小波系数串联，未考虑系数方向、系数间关系等特性。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于小波域联合统计描述子的行为识别方法，以有效利用小波系数间的依赖关系，对视频时空关系进行更充分的描述，进一步提高人体行为识别准确率。

实现本发明的主要方案是：首先提取运动视频稠密轨迹并在轨迹周围构建局部立方体；对视频数据进行3D平稳小波变换，将视频中包含信息转换到小波域，然后在轨迹周围局部立方体内分别构建小波系数子带间互信息和小波系数共现直方图两个联合统计描述子，用于定量和定性的表示小波系数间的依赖关系；然后对串联后的上述两个特征描述子使用词袋模型进行编码，形成行为视频直方图表示；最后使用SVM分类器实现行为的分类识别。