[发明专利]一种跨越围栏行为识别系统及方法

权利要求书

1.一种跨越围栏行为识别系统及方法，其特征在于：包括前端信息采集抓拍系统(1)、网络传输系统(2)、后端平台系统(3)、违章行为识别模块(4)、违章行为导入模块(5)和违章行为上传模块(6)；所述前端信息采集抓拍系统(1)内的违章行为识别模块(4)包括有摄像机和工控机；所述摄像机对人员进行综合信息的采集，并将采集的信息进行图片信息识别和数据缓存后，再通过网络发送到所述网络传输系统(2)内的所述违章行为导入模块(5)；所述违章行为导入模块(5)包括有传感器、A/D转换器、处理器、信号放大器和信号发射器；所述违章行为导入模块(5)通过所述传感器和摄像机将所采集的信号转化为无线信号，再通过所述A/D转换器将声、光、温度和头像转化为数字信号，最后通过所述处理器、信号放大器和信号发射器将数字信号输入到违章行为上传模块(6)；所述违章行为上传模块(6)通过网络将转化后的所述数字信号发送到后端平台系统(3)。

2.根据权利要求1所述的一种跨越围栏行为识别系统及方法，其特征在于：所述摄像机对人员进行综合信息的采集具体包括：人员动作状态特征、过往人像面部特征信息。

3.根据权利要求1所述的一种跨越围栏行为识别系统及方法，其特征在于：所述后端平台系统(3)包括有违章行为报警模块(7)和违章行为处理模块(8)；所述违章行为报警模块(7)在后台系统内对所述摄像机采集到的作业人员跨越围栏违章行为进行报警提醒，同时后台工作人员会在系统主界面收到违章行为记录提醒；所述违章行为处理模块(8)是对现场发现的跨越围栏行为提出管控措施，并将违章行为整改措施通过网络下达至相关生产作业现场。

4.根据权利要求1所述的一种跨越围栏行为识别系统及方法，其特征在于：所述后端平台系统(3)包括：视频存储服务器、数据库服务器、管理服务器、应用服务器、Web服务器和时钟服务器；图片通过所述视频存储服务器进行集中存储；所述数据库服务器安装数据库软件保存系统各类数据信息；管理服务器负责系统综合管理；应用服务器负责数据处理、布控、比对和输出报文；Web服务器安装Web Server负责向B/S用户提供访问服务；时钟服务器安装GPS和NTP校时软件负责全网设备统一校时。

5.根据权利要求1所述的一种跨越围栏行为识别系统及方法，其特征在于，具体包括如下步骤：

步骤S1：首先所述违章行为识别模块(4)基于多目标跟踪算法(deep Sort)对连续视频帧中的物体进行识别，且对不同的物体分配一个ID，选取一段时间内ID不变的物体进行场景图生成，将包含工作人员和围栏的图片利用Graph R-CNN模型生成场景图(Scenegraph)，生成后的场景图包括物体区域、物体关系及其标签；

步骤S2：然后采用对象检测模型(Faster RCNN)建立目标区域模型P(V|I)，以生成候选区域；将视频中包含人和围栏的连续10帧图片送入网络中生成特征图，然后通过区域生成网络(Region Proposal Network，RPN)，在特征图每一个像素点处形成九种不同形状的初始检测框，经过一次3×3卷积和一次1×1卷积后，计算所有检测框、人和围栏的重叠率，取与人和围栏有最大重叠率的检测框标记为有目标物体，计算每一个检测框与所有目标物体的重叠率，取与目标物体有最大重叠率，且大于设定阈值的检测框标记为有目标物体，利用Softmax回归模型对检测框进行二分类，再通过Reshape函数将特征图变换成RPN网络需要的形式，同时，经过一次3×3卷积和一次1×1卷积后，利用边界框回归计算每一个检测框与其重叠率最大的目标物体之间的偏移参数，即检测框的位置偏移，Proposal部分将包含目标物体的检测框及其位置偏移整合起来，生成候选区域；

步骤S3：再然后通过关系过滤网络模型去掉不存在关系的物体对，对候选场景图进行稀疏；

步骤S4：对每一个节点的位置进行加权求和得到卷积后的模型，整合图中相邻节点的上下文信息，标注人和围栏的关系，然后，将上述标注好的图片放入Visual Genome数据集中进行预训练，Visual Genome数据集包含10万张图片，每张图片平均有35个对象、26个属性和21个对象之间的成对关系，训练过程中，当作业人员的检测框与围栏的检测框边的重合率达到50％及以上时，判定作业人员正在跨栏，否则判定未跨栏，最后，得到训练好的检测模型，可对现场作业人员跨越围栏行为进行实时检测。