[发明专利]一种基于人群行为先验知识的双分支异常检测方法

摘要

本发明提供了一种基于人群行为先验知识的双分支行人异常检测方法，包括：利用社会力模型提取视频中人群的交互信息；利用多实例学习方法对视频中不同时间片段学习出异常得分；利用注意力模型捕获视频特征的全局依赖；利用双分支模型将原始视频和其对应的人群交互信息视频结合。本发明充分考虑人类对异常行为判断的先验信息，利用数量充足的正常和异常样本来学习人群行为的正常和异常模式，使得异常检测能在一定地语义层面上对视频中得人群行为进行识别，能很好地解决与适应由于样本数量不足和视频中人群得背景干扰带来的性能损失，更具有鲁棒性；该方法也不需要精确到片段级别的数据标签，即使训练对象是视频的片段，也只需要视频级别的标签。

主权项

1.一种基于人群行为先验知识的双分支异常检测方法，其特征在于：包括：S1：将每个视频划分为多个视频片段sⁱ；S2：将每一个视频片段sⁱ输入到预训练的C3D网络，并对所有的视频片段sⁱ提取特征；其中，以每16帧为单位提取特征，每一个视频片段sⁱ的特征为其中所有16帧特征的均值，得到每个视频的多个特征；S3：利用注意力模型捕获单个特征内的全局依赖，每一个输入的特征A经过注意力模型处理后得到新的特征E，特征E中每一个位置的值为所有位置值的加权和；S4：利用全连接层输出每一个视频片段sⁱ的异常得分值f(sⁱ)，将异常得分值f(sⁱ)输入到多实例损失函数L(V_a,V_n)进行梯度下降和反向传播；所述多实例损失函数L(V_a,V_n)表达式如下：其中，V_a和V_n分别为一个异常视频和一个正常视频，M()表示多实例排序损失函数，N()表示连续视频片段得分值的连续性限制，S()为一范数的稀疏性限制，‖W‖_F为权重约束；和分别为异常视频的片段的异常得分值和正常视频的片段的异常得分值；S5：通过S1～S4，训练出第一个网络分支，即时空动态分支B_o；S6：利用社会力模型，对时空动态分支B_o中的数据集视频生成其对应的社会力图，提取出时空动态分支B_o中的人群和周围环境的交互社会力F_int，得到原始视频对应的社会力图，即提取出人群的行为信息，其数据维度与原始视频维度一致；S7：将所有的社会力图作为输入，重复S1到S4，训练出第二个网络分支，即交互动态分支B_s；S8：在异常检测阶段，将用于测试的视频和其对应的社会力图分别输入到时空动态分支和交互动态分支，最终测试视频所有的视频片段得到两个异常得分值，采取平均法将这两个异常得分值融合作为视频片段的最终异常分值。