[发明专利]基于残差注意力块和自选择学习结合的视频异常检测方法

权利要求书

1.一种基于残差注意力块和自选择学习结合的视频异常检测方法，其特征在于：所述视频异常检测方法包括如下步骤：

步骤1：收集原始视频数据，利用对象检测器，提取前后若干视频帧的对象构建时间-空间立方体即时空立方体；

步骤2：随机打乱步骤1中时空立方体的空间或时间顺序，分别构建空间拼图立方体和时间拼图立方体；

步骤3：利用步骤2中的空间拼图立方体和时间拼图立方体训练由两个预测分支构成的顺序预测模型：空间预测分支和时间预测分支，其中所述空间预测分支和所述时间预测分支均使用交叉熵损失指导训练过程；

步骤4：对模型先进行5轮的热启动训练，即空间预测分支和时间预测分支的交叉熵损失跳过自选择学习阶段，直接执行步骤6的梯度反向传播步骤；

步骤5：在步骤4中的热启动训练之后，其后的每一轮训练过程中，对于一个批次的训练样本损失，利用自选择学习策略分别对步骤3中两个分支的交叉熵损失进行自选择学习，剔除可疑的异常样本损失；

步骤6：所述步骤5后剩余的样本损失参与梯度反向传播过程，更新网络参数，经过多轮迭代训练，得到最终的顺序预测模型；

步骤7：对待测视频进行步骤1中的对象提取操作，获得待测时空立方体；

步骤8：对于步骤7获得的待测时空立方体，不打乱其空间顺序和时间顺序，直接输入到步骤6训练得到的最终顺序预测模型中，通过比较，取模型所预测顺序得分的最小值，获得待测时空立方体的空间和时间预测得分；

步骤9：对步骤8中的两个预测得分进行整合，获得待测时空立方体最终的对象预测得分，对一帧待测视频图像中多个对象预测得分进行比较，取最小的对象得分作为最终的视频帧异常分数，对所有视频帧异常分数进行比较，异常分数偏低的视频帧判定为异常视频帧，从而实现视频异常检测，其中，

步骤3中，顺序预测模型的所述空间预测分支和所述时间预测分支分别预测被打乱的空间顺序和时间顺序，所述空间预测分支和所述时间预测分支具有相同的结构，均由连续多个全新残差注意力块构建而成，所述全新残差注意力块由残差模块、注意力模块和跳跃连接三部分组成，所述残差模块由2个3D卷积层、2个3D实例归一化层和1个ReLu激活函数构成，所述注意力模块包括1个全局池化层、2个全连接层、1个ReLu激活函数和1个Sigmoid激活函数，所述跳跃连接直接将输入残差注意力块的特征图与卷积后的特征图相加，形成输出特征图。

2.根据权利要求1所述的基于残差注意力块和自选择学习结合的视频异常检测方法，其特征在于：步骤3中所述空间预测分支和所述时间预测分支训练过程中使用的交叉熵损失函数具体为：

其中，n²和T分别为空间拼图立方体的对象小块数量和时间拼图立方体的时间长度，CE(·)是计算交叉熵损失操作符，s_i和分别为打乱后的空间顺序和模型预测的空间顺序，t_i和分别为打乱后的时间顺序和模型预测的时间顺序。