[发明专利]一种基于深度学习的玩手机与离岗检测报警系统及方法

权利要求书

1.一种基于深度学习的玩手机与离岗检测报警系统，其特征在于，包括监控摄像头、图像存储服务器以及后台管理服务器，所述监控摄像头分别设置于办公区域的上方，所述监控摄像头用于监控办公区域内人员的行为情况，所述监控摄像头均与所述图像存储服务器数据连接，所述图像存储服务器分别与所述后台管理服务器数据连接，所述图像存储服务器用于检测图像中的人体、手机目标，并标注他们的位置信息，再根据人体以及手机的位置信息来判断员工是否在玩手机或者离岗，在检测到员工玩手机、离岗的行为后，便将结果上传到所述后台管理服务器，所述后台管理服务器用于记录下该行为并实时展示，并告警通知管理员，使管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。

2.一种基于深度学习的玩手机与离岗检测报警方法，其特征在于，采用如权利要求1所述的系统进行，包括如下步骤：

摄像头和图像算法服务器接入同一个监控内网；

管理员启动后台管理服务器，并登陆后台管理网站，配置图像算法服务器的参数，设置监控摄像头的视频流地址；

管理员从后台管理网站启动图像存储服务器；

摄像头将监控画面传输给图像存储服务器后，图像存储服务器将图像输入到目标检测算法，实时检测图像中的人体、手机目标，并标注他们的位置信息；

图像存储服务器根据人体以及手机的位置信息来判断员工是否在玩手机或者离岗，如果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值时，那么就判定该员工已经离岗，如果某个员工通过目标检测算法标注的人体框内，出现手机超过一个预设的时间阈值时，那么就判定该员工存在玩手机的行为；

图像存储服务器在检测到员工玩手机、离岗的行为后，便将结果上传到后台管理服务器，后台管理服务器记录下该行为并以网页的形式进行展示；

管理人员通过后台管理网站监控员工实时的以及过去一段时间内的工作情况。

3.根据权利要求2所述的基于深度学习的玩手机与离岗检测报警方法，其特征在于，所述的如果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值时，那么就判定该员工已经离岗，包括如下步骤：

当算法检测到某一帧存在异常行为时，开始计时，并对接下来的帧进行检测，当某一帧没有检测到异常行为时，并不立即结束计时，而是连续N帧都不存在异常行为时才结束计时，再根据异常行为持续的时间是否超过预设的时间阈值，来判定是否为一次真实的异常行为。

4.根据权利要求2所述的基于深度学习的玩手机与离岗检测报警方法，其特征在于，所述的目标检测算法，检测图像中的人体、手机目标，并标注他们的位置信息，包括如下步骤：

摄像头通过实时流协议(RTSP)接入到网络，视频流处理线程直接从监控网络中读取视频流，经过处理后传送给Yolov5目标检测网络。视频流处理线程由写线程和读线程构成，写线程负责读取监控画面并写入队列，并通过生产者-消费者的模式维持队列大小为1；读线程从队列中读取最新帧，预处理后传送至Yolov5目标检测网络；

Yolov5目标检测网络从读线程处获得最新帧，经过卷积神经网络提取图像特征，预测出该帧中的人员目标位置、手机目标位置及对应的置信度。并根据置信度阈值进行筛选，去除置信度较低的结果，得到初步的预测结果；

在Yolov5目标检测网络检测到手机目标后，将手机目标截取出来，使用Resnet50二次分类网络，进行第一轮筛选，筛选一部分识别错误的目标；

对于经过Resnet50筛选后的手机目标，再进行一轮筛选，首先使用高斯平滑滤波以消除高斯噪音，然后再用canny边缘检测算法得到其边缘特征，最后再使用霍夫直线检测算法检测边缘特征中的直线数量。如果直线的数量小于一个预设的阈值，那么就把这些目标进一步筛选掉。这一步可以筛选掉一些曲线较多、直线较少的非手机目标；

在得到最终的人员目标和手机目标信息后，根据它们的相互位置信息来进行离岗判定和玩手机判定。离岗判定：如果在工位上没检测到人员目标，则判定为离岗；玩手机判定：如果手机目标的位置中心包含在人员目标之中，则判定为玩手机。