[发明专利]一种数据非平衡弱监督视频异常检测方法及系统

说明书

本发明公开了一种数据非平衡弱监督视频异常检测方法及系统，包括提取待测视频的视频片段级的视频特征；将视频片段级的视频特征通过对抗训练模块获得段级异常分数；将视频片段级的视频特征通过聚焦训练模块获得片段级别的异常分数；将段级异常分数与异常分数进行融合，得到融合后的异常分数；再与阈值进行对比，将大于阈值的视频片段中的所有帧均视作异常，小于阈值的视频片段中的所有帧均看作正常，从而实现数据非平衡弱监督视频异常检测与异常的时间定位。本发明通过融合对抗训练模块与聚焦训练模块得到的与片段级别的异常分数，使得更易于学习正常与异常视频片段之间的差异，对异常事件检测更趋近于真实，进而提升了视频异常检测准确率。

技术领域

本发明属于视频处理技术领域，具体涉及一种数据非平衡弱监督视频异常检测方法及系统。

背景技术

视频异常检测技术在自主监控中得到应用，是监控异常事件发生的重要方法。视频异常通常指视频中出现不正常的外观或运动属性，或在不正常的时间或空间出现正常的外观或运动属性。视频异常检测任务即为检测出视频中存在的时间和空间异常。

根据样本数据的标签有无，现有的技术通常分为两类，一种是基于无监督的视频异常检测技术，这类方法通常仅对正常样本分布进行建模，测试时将偏离正常样本分布的视频帧或视频片段视为异常。另一种是弱监督的视频异常检测技术，这类方法在训练过程中只使用视频级别的标签，通常看作是一个标准的多示例学习问题，其中每个视频均可以看作是一个包，视频中的每个片段均可看作是一个示例，只要检测到视频中至少存在一帧异常帧，则将该视频标记为异常，否则标记为正常。

虽然目前存在大量先进的弱监督视频异常检测技术，但是这些弱监督视频异常检测任务均隐式的建立在视频内正常异常帧不平衡的基础上，更多的关注如何找到具有代表性的视频片段或如何获取视频片段之间的时序关系，忽略了一个非常重要的问题，即正常视频和异常视频之间固有的数据失衡现象。例如，常用的ShanghaiTech数据集在训练过程中共包含238个视频，其中正常视频175个，异常视频63个，接近正常视频数量的三分之一，而在现实生活中异常视频数量要远远小于正常视频。如果称ShanghaiTech数据集在训练过程中微弱的考虑到正常视频与异常视频之间数量的不平衡，那么常用的基准数据集UCF-Crime和XD-Violence在训练过程中则将正常视频与异常视频数量设置为接近1：1，这也潜在的使得当前弱监督视频异常检测任务忽略了视频间固有的数量的不平衡现象。

随着近些年监控摄像头数量的迅速增加，视频监控中的异常检测问题受到越来越多的关注。由于海量监控视频带来的标注困难等问题，获得视频级标签相对要比获得帧级标签更容易,因此只标注视频级别标签的弱监督方法成为实现异常检测的重要手段。然而，以往的弱监督视频异常检测任务隐式的建立在视频内正常异常帧不平衡的基础上，更多的关注如何找到具有代表性的视频片段或如何获取视频片段之间的时间关系，却忽略了一个重要的问题，即正常视频和异常视频之间固有的数据失衡现象，从而影响异常事件的检测效果。

发明内容

为克服现有技术中的问题，本发明的目的的在于提供一种数据非平衡弱监督视频异常检测方法及系统，该方法能够对异常视频的数量增强和注意力聚焦，并融合，精准的实现对视频帧级别异常事件检测效果。

为实现上述目的，本发明采用的技术方案如下：

一种数据非平衡弱监督视频异常检测方法，包括以下步骤：

提取待测视频的视频片段级的视频特征；

将视频片段级的视频特征通过对抗训练模块获得段级异常分数；

将视频片段级的视频特征通过聚焦训练模块获得片段级别的异常分数；

将通过对抗训练模块获得的段级异常分数与通过聚焦训练模块获得的片段级别的异常分数进行融合，得到融合后的异常分数；