[发明专利]基于多尺度时间信息融合的群体异常行为识别方法及系统

说明书

本公开提供了一种基于多尺度时间信息融合的群体异常行为识别方法及系统。所述方案包括获取只有正常样本的视频帧序列并提取相邻两帧之间的光流图，采用不同的采样率对同一视频片段进行采样得到不同的时间尺度下的视频序列，获取前述视频帧序列的跳帧视频帧序列并提取跳帧的光流图，得到不同时间尺度下的视频帧序列及光流图序列；利用正常帧与跳帧视频序列与光流图序列作为输入训练基于深度卷积网络；利用训练完成的深度卷积网络进行异常行为检测，检测网络根据得到的预测图像进行评定得到异常值得分，根据得分判断该视频帧是否为异常帧，完成对于视频帧的异常检测；本公开所述方案有效提升了群体异常行为识别的准确率。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种基于多尺度时间信息融合的群体异常行为识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

近年来，随着智能监控系统以及图像处理技术的快速发展，智能监控设备在公共安全领域被广泛设置，数量逐年增加。同时随着全球经济飞速发展、社会迅猛进步以及各国综合国力不断提升，社会治安问题日趋严重，大到商场、车站等公众集中区域，小到居民小区和学校宿舍等各种地方，社会对于安全防范实时记录和实时自动报警的需求都在不断增加，在公共场所中，对于群体异常行为的识别能够促进对于突发事件的有效处理，同时可以节约大量的人力、物力和财力。

发明人发现，异常行为检测问题中，由于场景中部分行人行为的不确定性、场景的复杂性、视频的分辨率不统一等因素增大了异常事件检测的研究难度。现有的方法大多需要大量高质量的训练样本进行训练，同时异常事件难以被穷举，需要检测的目标行为较为多样，而一般的行为数据库的异常样本相对比较少；同时，大多群体行为异常检测方法大都依靠对于巧妙的特征提取与复杂的模型设计，计算耗时也相对较长。

发明内容

本公开为了解决上述问题，提供一种基于多尺度时间信息融合的群体异常行为识别方法及系统，本公开所述方案针对视频中人群运动的差异性与异常行为出现时的图像差异性等特点针对运动信息和表观信息进行设计，从空间和时间两个维度对异常行为进行检测，从而得到更高的识别准确率。

根据本公开实施例的第一个方面，提供了一种基于多尺度时间信息融合的群体异常行为识别方法，包括：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

采用不同的采样率对同一视频进行采样，获得不同时间尺度下的视频帧序列；

从获得的不同时间尺度下的视频帧序列中提取跳帧视频帧序列，并提取相邻跳帧件的光流图；

采用正常帧与跳帧的视频帧序列及光流图对深度卷积网络模型进行训练；

利用训练好的模型判断视频帧是否为异常帧，实现群体异常行为的识别。

进一步的，在获取视频帧序列前，需要对原始视频帧图像进行归一化处理，保证对于不同数据集或不同场景都可以统一到同样的图像维度。

进一步的，在深度卷积网络模型训练过程中，对于同一时间尺度下的视频帧序列及光流图序列进行融合；所述融合具体为深度卷积网络分别对视频帧序列及光流图序列进行特征提取，对得到的相应特征向量进行加权融合，保证深度卷积网络能够更好的对表观信息和运动信息进行感知，增强深度卷积网络的特征提取能力。

进一步的，在深度卷积网络模型训练过程中，对于不同时间尺度下的信息采用中间融合的方式增强对于不同时间尺度下视频帧的信息融合；所述中间融合方式具体为将已得到的不同时间尺度下的特征向量进行缓慢融合，使得深度卷积网络能够对不同时间尺度下的特征进行更好的融合与感知。

进一步的，在深度卷积网络模型训练过程中，加入表观信息约束和运动信息约束，所述表观信息约束用于提高预测图片本身的生成质量，所述运动信息约束用于增强对于运动物体的表现能力。