[发明专利]基于深度学习及运动一致性的街面秩序事件视频检测方法

摘要

基于深度学习及运动一致性的街面秩序事件视频检测方法，涉及人工智能领域和计算机视觉领域。本发明的方法步骤为：1）算法框架：2）目标检测；3）运动一致性计算；4）事件判定。同现有技术相比，本发明通过设计目标检测深度学习网络，训练场景识别模型，并计算场景内的运动信息分析其行为状态，以视频智能分析领域中静态视频帧中目标检测技术和动态视频中目标行为分析技术相结合的方式，多条件联合判定事件，设计出店外经营事件和占道经营事件的检测系统，准确快速的完成事件的自动检测。

主权项

1.基于深度学习及运动一致性的街面秩序事件视频检测方法，其方法步骤为：1）算法框架：算法框架：设定为轮询模式，循环接入前端视频流，采集N帧后缓存到指定内存中，然后切换到下一路视频流，缓存到相应的内存空间中；内部算法功能模块线程需要处理时从相应内存中拷贝到算法内部缓存中，处理完成后将运行结果统一送到事件判定线程做事件最终判定，然后拷贝下一路视频流所在的内存数据，用同样的方式做处理；2）目标检测：在Yolov2训练过程中，首先利用设计好的分类网络结构在ImageNet数据集上进行预训练，其次，将该网络结构最后的分类输出层去掉，在最后一个卷积层产生的feature map上，每个单元都会结合anchor信息生成一个向量，其中包括了类别输出信息、回归的坐标信息以及是否为目标的概率，之后设计loss函数并对其进行优化，最后完成模型的训练，loss函数由分类loss1、回归坐标以及是否为前景目标loss2构成，类别loss1同传统分类网络，采用softmax对其进行训练，回归坐标和是否前景目标loss2定义如下：其中，i指示当前计算单元，j指示当前anchor，x、y表示预测的坐标，w、h表示预测的宽、高，Pw和Ph分别表示anchor宽、高；检测时，输入一帧图像，图像经过一系列卷积、批归一化、池化、非线性映射等操作后，在最后一个卷积层得到多个feature map；将最后一个卷积层得到的feature map结合anchor信息，在每个单元预测5个边界框，每个边界框预测4个坐标值和一个目标概率值，若单元从图像的左上角偏移(cx, cy)，且边界框有先验Pw,Ph（anchor box），则预测为：bx=σ(tx)+cxby=σ(ty)+cybw=pwetwbh=pheth其中，σ(.)为非线性映射函数：不同于faster rcnn框架中使用的固定大小的anchor box，Yolov2中为了充分利用样本的统计特性，采用聚类的方式选取了5个anchor box；训练集边界框上用K‑means聚类来自动找好的先验：用标准K‑means（欧几里德距离）时，更大的边界框会产生更大的误差；而获得好的IOU分数的先验应与建议框的大小无关；因此，使用如下距离测量：d(box,centroid)=1−IOU(box,centroid)3）运动一致性计算：空间运动一致性的计算公式为：空间运动目标的平均速度值为：以上v代表速度值，i代表当前图像中的运动目标序号，N代表目标个数，x表示水平方向，y表示竖直方向，这样计算出的OPs代表图像空间上运动一致性的值，并且有Vs代表空间运动目标的平均速度值；时域运动一致性的计算公式为：时域运动目标的平均速度值为：以上v代表速度值，j代表的是连续视频序列的标号，M代表视频帧数，x表示水平方向，y表示竖直方向，这样计算出的OPt值代表图像上某位置目标的时域运动一致性的值，Vt代表时域运动目标的平均速度值；4）事件判定：用训练好的CNN模型进行事件判定，样本的收集由训练好的Yolov2模型在准备好的原始图片上进行检测，然后按照检测结果将图片和检测信息送入CNN判定模型，得到事件的初步判定结果和得分值；计算该视频帧前后N帧图像每相邻两帧的运动矢量，并进行统计分析，计算每相邻两帧该区域的运动熵值，并计算运动一致性值，联合分析CNN判定分值和运动一致性值，最后做出结果判定，具体步骤如下：设Sd为CNN判定的事件得分值；设Sm为运动一致性分析得到的事件判定得分值；考虑到两种判定方式的互补性质，事件最终分值设为S=Sm*Sd；设为第j帧图像的空间运动一致性值，为第i个目标在连续视频帧中的时域运动一致性值；设和为对应的空间和时域运动目标平均速度值，其中m取值为大于2的偶数；步骤1：首先计算被检测帧前后3帧的空间平均速度值，并计算其均值，设定阈值判定目标区域内是否有运动信息；步骤2：计算步骤1中相应的OPsj，并计算OPsj的均值，并定义步骤3：在连续视频帧中计算运动区域内每个运动目标的值，n代表目标个数，对于的运动目标，计算相应的OPti值，并计算OPti的均值步骤4：计算分值，设事件判定阈值e_threshold，得出判定结果流程结束。