[发明专利]一种基于时空显著性区域检测的人体行为分析方法

说明书

本发明公开一种基于时空显著性区域检测的人体行为分析方法，利用数据集训练Faster R‑CNN模型；输入多路视频并将单路视频分割成视频图像帧；对分割的视频图像帧使用Faster R‑CNN模型进行目标检测；分析目标检测结果并重新计算目标候选框；对单路视频使用块匹配构造运动矢量场；通过运动矢量场计算感兴趣区域的运动矢量，用混合高斯模型计算出的概率选定前景显著运动区域；根据目标候选框和显著运动区域合成时空显著性区域；对目标时空显著性区域进行特征采样和特征预处理；对视频的目标时空显著性区域进行编码和池化；对视频的时空显著性区域进行人体行为分析识别；将分析识别结果写入时空显著性区域框。本发明使可以合理分析视频中的人体行为活动的所属类别。

技术领域

本发明涉及视频分析技术领域，具体涉及一种基于时空显著性区域检测的人体行为分析方法。

背景技术

基于视频的人体行为分析属于视频分析领域，由于人体行为具有姿态形变、视角变化、时长差异、尺度不一等多变性，且视频图像易受到相机抖动、光照变化的影响，使得基于视频的人体行为分析成为一个亟待解决的难题。

人体行为分析的方法主要大致可以分为基于人体模型跟踪、基于光流直方图以及基于局部时空特征的方法三大类。基于人体模型跟踪的方法要求提取精确的人体模板，该方法的鲁棒性相对较差。基于光流直方图的方法采用光流直方图进行人体动作识别。但是光流对背景噪音以及不同光照强度的鲁棒性很差。基于局部时空特征的方法通过滤波和非极值抑制法提取出兴趣点，并进一步提取人体动作的局部时空特征作为识别的依据，该方法适用于低分辨率的视频数据，并且局部时空特征的提取对尺度伸缩、拍摄视角和光照亮暗与否不敏感。

基于视频的人体行为分析主要包括两个部分：目标运动区域检测和人体行为分析。目标运动区域检测对视频图像进行特定目标的提取，检测出目标运动区域，有利于提升人体行为分析的精度。静态图像目标检测的优点是可以利用空间结构显著性提取出各类目标，缺点在于缺少时间序列分析，导致感兴趣的显著运动区域表达不准确，而且特定目标(如人体或物体)之间缺乏关联语义分析，从而影响人体行为识别的精度。如果同时使用连续视频帧进行时间显著性分析，通过混合高斯模型来判断提取出前景目标的有效运动区域，就可以结合基于空间显著性的目标运动区域，合理分析视频中人体行为活动的所属类别。

发明内容

本发明提供一种基于时空显著性区域检测的人体行为分析方法，其能够实现对连续视频帧中的人体行为进行分析。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于时空显著性区域检测的人体行为分析方法，包括步骤如下：

步骤1.利用数据集作为训练集，训练基于卷积神经网络的Faster R-CNN模型；

步骤2.将输入视频分割为视频图像帧，并利用步骤1训练出的Faster R-CNN模型，检测视频图像帧中的人体目标区域；

步骤3.分析步骤2得到的人体目标区域，生成基于空间显著性的前景目标运动区域；

步骤4.利用视频图像帧的时序信息，通过块匹配来寻找整个图像的各个点在视频数据中的位移，并建立运动矢量场；

步骤5.利用基于混合高斯模型的概率密度，从步骤4所建立的运动矢量场中找出感兴趣区域矢量，感兴趣区域矢量即构成基于时间显著性的前景目标运动区域；

步骤6.合并步骤3的基于空间显著性的前景目标运动区域和步骤5的基于时间显著性的前景目标运动区域，得到前景目标时空显著性区域；

步骤7.对步骤6生成输入视频数据的前景目标时空显著性区域，进行特征采样和特征预处理；

步骤8.用提前训练好的混合高斯模型，对特征采样和特征预处理后的前景目标时空显著性区域，进行编码量化和池化操作；