[发明专利]一种基于弱监督学习的视频异常事件检测系统及其方法

权利要求书

1.一种基于弱监督学习的视频异常事件检测系统，其特征在于，包括视频片段层次结构深度特征提取模块、行为实例包弱监督学习模块以及行为实例异常得分损失函数约束模块；其中：

所述的视频片段层次结构深度特征提取模块，用于对指定长度的视频片段也即行为实例，提取多个层次的RGB图像-光流图像联合表述特征；

所述的行为实例包弱监督学习模块，用于将包含多个行为实例的视频序列作为一个整体，只使用正常/异常的视频标签，进行弱监督学习；

所述的行为实例异常得分损失函数约束模块，用于约束行为实例得分符合视频事件连续性、异常事件偶发性的性质，来指导异常事件评分网络更加有效地进行学习；

所述的损失函数约束模块具体包括：正/负样本行为实例包异常事件得分偏序约束模块，即要求正样本包中行为实例最大得分要大于负样本包中行为实例最大得分，以保证训练样本在异常事件得分分布上的一致性；时间上连续的行为实例异常得分平滑性约束模块，即要求同一视频序列中相邻的行为实例间的异常得分差异要尽量的小，以保证视频事件连续发展的性质；高异常得分行为实例稀疏性约束模块，即要求给定的一段视频序列中，取得高异常得分的行为实例的数量要尽量的少，以保证视频中异常事件偶发性的性质；

这三个约束可用式(3)表述：

在式(3)中，第一项max(0,为正样本行为实例包G_n和负样本行为实例包G_a之间的偏序约束，即要求G_a中行为实例最大得分要大于G_n中行为实例最大得分，其中为G_n中第i个行为实例得分，为G_a中第j个行为实例得分；第二项约束为视频序列中相邻行为实例得分连贯性约束；第三项约束为视频序列中异常行为实例分布稀疏性约束，λ₁和λ₂为权重调整系数，分别取0.3；综合第二项和第三项约束反映了异常事件在视频中稀疏分布以及视频事件连续变化发展的特性。

2.根据权利要求1所述的基于弱监督学习的视频异常事件检测系统，其特征是，所述视频片段层次结构深度特征提取模块具体包括：

RGB图像-光流图像深度特征提取网络，用于提取行为实例在指定的划分层次上外形-运动信息的联合表述特征；

行为实例多层次结构划分模块，用于对行为实例进行多个层次的结构划分，提取从粗到细多个粒度上的外形-运动信息联合表述特征。

3.根据权利要求1所述的基于弱监督学习的视频异常事件检测系统，其特征是，所述行为实例包弱监督学习模块具体包括：

正/负样本行为实例包设置，即把一段视频作为一个行为实例包，根据其类别标签分别作为正样本行为实例包和负样本行为实例包，构建行为实例包用于实现弱监督学习中的偏序学习；

行为实例异常事件分类网络，即构建一个多层次深度神经网络模型对行为实例进行异常度评分，若为异常，则期望输出值为1，若为正常，则期望输出值为0。

4.一种基于弱监督学习的视频异常事件检测方法，应用权利要求1-3任意一项检测系统，其特征在于，包括以下步骤：

步骤1：对输入视频进行划分，构建行为实例包；

步骤2：利用深度网络模型提取行为实例的多层次外形-运动信息联合表述特征；

步骤3：把联合表述特征输入到异常事件分类网络，得到行为实例得分；根据设定的得分阈值，得到异常事件检测结果。

5.根据权利要求4所述的一种基于弱监督学习的视频异常事件检测方法，其特征在于：所述的步骤1：对输入视频进行均匀划分，每段包括若干帧，构成一个行为实例，一个视频序列所有的行为实例构成一个整体，称之为实例包。

6.根据权利要求4所述的一种基于弱监督学习的视频异常事件检测方法，其特征在于：所述的步骤2：利用深度学习模型对每个行为实例提取外形和运动联合表述层次结构特征。