[发明专利]一种基于深度学习双流网络的攀爬行为检测方法及系统

说明书

本发明公开了一种基于深度学习双流网络的攀爬行为检测方法及系统，属于机器视觉对行为识别技术领域，包括以下步骤：S1：目标检测、跟踪并编号；S2：裁剪目标视频片段；S3：随机采样；S4：动作分类。本发明通过学习得到的分类网络具有很好的鲁棒性，在不同光照、不同天气下也能精准分类，实现复杂条件下的多人行为检测；并对视频进行裁剪，去掉多余的背景信息大幅提高了算法执行效率，利用行人跟踪随机采样的方法使检测效率得到有效提升，值得被推广使用。

技术领域

本发明涉及机器视觉对行为识别技术领域，具体涉及一种基于深度学习双流网络的攀爬行为检测方法及系统。

背景技术

攀爬行为检测是智能视频监控领域中的一个重要模块，广泛应用于公共场所的视频监控系统中。攀爬行为检测及时发现人员攀爬围栏围墙行为，自动的发出对应的警告或通知，减少安防人力资源的投入。攀爬行为识别主要解决两个问题，一是检测问题，使用检测器检图像中是否有人；二是识别问题，对人的运动特征进行提取，通过分类器识别出人的行为。

目前人员攀爬行为检测利用行为识别的方法，根据人体轮廓剪影计算出人体星形骨架特征，然后将骨架特征分类成为行走、攀爬、跨越、下降4种状态，当攀爬、跨越、下降3种状态连续出现的时候，则认为发生了人员翻越围墙的行为。这种方法比较理想，也只能用在仅有一个人的理想环境，在实际应用环境中效果很差。有的利用传统视觉方法提取人的行为特征，用HMM或贝叶斯网络对特征进行建模分类，但是这种方式同样会面临目标遮挡严重、手工设计的行为特征难以提取的问题。也有对运动物体计算光流，然后用HMM或贝叶斯网络对光流进行建模并用分类器进行分析，进而检测一些异常行为，这种全局性的特征适合分析遮挡严重的情况，可以进行借鉴，但是使用光流计算复杂度高，难以做到实时处理。因此，提出一种基于深度学习双流网络的攀爬行为检测方法。

发明内容

本发明所要解决的技术问题在于：如何解决人员攀爬行为检测利用行为识别方法存在的应用效果差、计算复杂度高等问题，提供了一种基于深度学习双流网络的攀爬行为检测方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：目标检测、跟踪并编号

使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；

S2：裁剪目标视频片段

根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；

S3：随机采样

针对步骤S2中的每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；

S4：动作分类

将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分类，确定是否存在攀爬行为。

更进一步地，在所述步骤S1中，所采用的目标检测网络为YOLO网络，通过YOLO网络同时对视频中多个行人目标进行，用矩形包围框的形式框选出每个行人目标的轮廓区域，作为后续处理候选区域。

更进一步地，所述步骤S2的具体过程为：

S21：对步骤S1所得候选区域进行裁剪，以每个区域矩形包围框长或宽的最大值为边长，矩形框的中心点为裁剪中心，裁剪出一个正方形区域，然后调整图像尺寸到设定尺寸；

S22：根据步骤S1所得行人编号，为每个人建立大小为30的图像缓冲池，将调整尺寸后的图像放入缓冲池中，当图像缓冲达到30张时，进行步骤S3。