[发明专利]基于多尺度时间信息融合的群体异常行为识别方法及系统

权利要求书

1.基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，包括：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

采用不同的采样率对同一视频进行采样，获得不同时间尺度下的视频帧序列；

从获得的不同时间尺度下的视频帧序列中提取跳帧视频帧序列，并提取相邻跳帧件的光流图；

采用正常帧与跳帧的视频帧序列及光流图对深度卷积网络模型进行训练；

利用训练好的模型判断视频帧是否为异常帧，实现群体异常行为的识别；

在深度卷积网络模型训练过程中，对于同一时间尺度下的视频帧序列及光流图序列进行融合；所述融合具体为深度卷积网络分别对视频帧序列及光流图序列进行特征提取，对得到的相应特征向量进行加权融合，保证深度卷积网络能够更好的对表观信息和运动信息进行感知，增强深度卷积网络的特征提取能力；

在深度卷积网络模型训练过程中，加入表观信息约束和运动信息约束，所述表观信息约束用于提高预测图片本身的生成质量，所述运动信息约束用于增强对于运动物体的表现能力。

2.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，在获取视频帧序列前，需要对原始视频帧图像进行归一化处理，保证对于不同数据集或不同场景都可以统一到同样的图像维度。

3.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，在深度卷积网络模型训练过程中，对于不同时间尺度下的信息采用中间融合的方式增强对于不同时间尺度下视频帧的信息融合；所述中间融合方式具体为将已得到的不同时间尺度下的特征向量进行缓慢融合，使得深度卷积网络能够对不同时间尺度下的特征进行更好的融合与感知。

4.如权利要求1所述的基于多尺度时间信息融合的群体异常行为识别方法，其特征在于，所述群体异常行为识别方法中加入异常值得分评定机制，通过对于生成的视频预测帧与真实帧做比较得到异常值得分，当生成的预测帧质量较低时得分较低，此时检测网络认为由于出现异常事件使视频预测不能很好的进行，于是判定出现了异常行为，实现了对于异常行为识别。

5.一种基于多尺度时间信息融合的群体异常行为识别系统，其特征在于，包括：

图像采集装置，其被配置为采集包含群体正常行为的视频，并传送至服务器；

服务器，其被配置为：

获取正常样本的视频帧序列，并计算相邻两帧间的光流图；

采用不同的采样率对同一视频进行采样，获得不同时间尺度下的视频帧序列；从获得的不同时间尺度下的视频帧序列中提取跳帧视频帧序列，并提取相邻跳帧件的光流图；

采用正常帧与跳帧的视频帧序列及光流图对深度卷积网络模型进行训练；

利用训练好的模型判断视频帧是否为异常帧，实现群体异常行为的识别；

在深度卷积网络模型训练过程中，对于同一时间尺度下的视频帧序列及光流图序列进行融合；所述融合具体为深度卷积网络分别对视频帧序列及光流图序列进行特征提取，对得到的相应特征向量进行加权融合，保证深度卷积网络能够更好的对表观信息和运动信息进行感知，增强深度卷积网络的特征提取能力；

在深度卷积网络模型训练过程中，加入表观信息约束和运动信息约束，所述表观信息约束用于提高预测图片本身的生成质量，所述运动信息约束用于增强对于运动物体的表现能力。

6.如权利要求5所述的一种基于多尺度时间信息融合的群体异常行为识别系统，其特征在于，所述服务器还被配置为在深度卷积网络模型训练过程中，对于同一时间尺度下的视频帧序列及光流图序列进行融合；所述融合具体为深度卷积网络分别对视频帧序列及光流图序列进行特征提取，对得到的相应特征向量进行加权融合，保证深度卷积网络能够更好的对表观信息和运动信息进行感知，增强深度卷积网络的特征提取能力。

7.一种电子设备，其特征在于，包括图像采集装置、存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-4任一项所述的基于多尺度时间信息融合的群体异常行为识别方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的基于多尺度时间信息融合的群体异常行为识别方法。