[发明专利]基于残差注意力块和自选择学习结合的视频异常检测方法

说明书

本发明属于计算机视觉技术领域，公开了一种基于残差注意力块和自选择学习结合的视频异常检测方法，包括采集原始视频并提取前后若干帧对象构建时空立方体；随机打乱时空立方体的空间或时间顺序，分别构造空间和时间拼图立方体；利用两种拼图立方体训练由两个预测分支组成的顺序预测模型，两个预测分支由残差注意力块构建；利用自选择学习策略分别对两个预测分支的训练样本损失进行自选择学习，选中的样本损失参与梯度反向传播过程，多轮迭代训练得到一个完整的视频异常检测网络模型；对待测视频同样进行对象提取操作，不打乱顺序，直接输入到模型中计算预测得分，最终实现视频异常检测。本发明能使无监督视频异常检测的精度得到显著提高。

技术领域

本发明属于计算机视觉技术领域，具体的说是涉及一种基于残差注意力块和自选择学习结合的视频异常检测方法。

背景技术

视频异常检测是计算机视觉领域一个活跃且有挑战性的任务，其目的是准确检测出视频图像中出现异常事件的视频帧，例如交通事故、火灾或打斗等异常事件，对于保障公共安全具有重要意义。但是异常事件发生的概率很低并且种类众多，因此无法利用传统完全有监督的方式对每一个训练样本进行标注学习。

根据监督方式的不同，目前主流的视频异常检测方法主要分为三大类：半监督视频异常检测、弱监督视频异常检测和无监督视频异常检测。

在半监督视频异常检测的方法中，训练集只包含正常事件，模型学习和捕捉正常事件包含的正常特征，因此当模型检测到异常事件时，由于异常事件未参与模型训练，会产生更大的检测偏差，从而实现对异常事件的检测，如HF方法(Liu,Z.,Nie,Y.,Long,C.,Zhang,Q.,Li,G.一种基于记忆增强光流重建和光流引导视频帧预测的混合视频异常检测检测框架.国际计算机视觉大会,2021)。在弱监督视频异常检测的方法中，训练集既包含正常事件也包含异常事件，但是只有视频级的标签，其代表视频内容中是否包含异常事件。借助视频级的标签，弱监督视频异常检测可以大幅提高检测的精度，如MIST方法(Feng,J.-C.；Hong,F.-T.；and Zheng,W.-S.用于视频异常检测的多实例自训练框架.国际计算机视觉与模式识别会议,2021)。但是半监督和弱监督的视频异常检测方法，都需要对训练集进行人工筛选以满足模型的要求，面对海量的视频数据，需要大量的人工和时间成本。因此不需要任何标签信息的无监督视频异常检测的方法越来越受到关注，其训练集既包含正常事件也包含异常事件，但是由于不存在人工过程，可以实现视频异常检测的完全自动化，但是这也是一个更有挑战性的任务。如GCL方法(Zaheer M Z,Mahmood A,Khan M H,et al.用于无监督视频异常检测的生成式协同学习.国际计算机视觉与模式识别会议,2022.)，，但是现有的无监督方法模型泛化能力过强，异常事件不容易被检测出来，因此准确度不高。

发明内容

为了解决上述问题，本发明提供了一种基于全新残差注意力块和自选择学习结合的视频异常检测方法，该方法使用所构建的全新残差注意力块作为基础模块搭建预测分支网络，然后对训练样本进行自选择学习使模型聚焦于建模正常特征。

为了达到上述目的，本发明是通过以下技术方案实现：

本发明是一种基于残差注意力块和自选择学习结合的视频异常检测方法，该视频异常检测方法具体包括如下步骤：

S1：收集原始视频数据，利用对象检测器，提取前后若干视频帧的对象构建时间-空间立方体(时空立方体)；

S2：随机打乱S1中时空立方体的空间或时间顺序，分别构建空间拼图立方体和时间拼图立方体；

S3：利用S2中的空间拼图立方体和时间拼图立方体训练由两个预测分支构成的顺序预测模型：空间预测分支和时间预测分支，其中两个预测分支均使用交叉熵损失指导训练过程；

S4：对模型先进行5轮的热启动训练，即两个预测分支的交叉熵损失跳过自选择学习阶段，直接执行S6中的梯度反向传播步骤；