[发明专利]一种柜面助手履职监控装置和方法

权利要求书

1.一种柜面助手履职监控装置，包括视频帧子系统(1)，其特征在于：

所述视频帧子系统(1)电性连接目标检测子系统(3)；

所述目标检测子系统(3)电性连接目标过滤子系统(5)；

所述目标过滤子系统(5)分别电性连接睡觉判别子系统(7)、玩手机判别子系统(8)、离岗判别子系统(9)和聊天判别子系统(10)；

所述睡觉判别子系统(7)、所述玩手机判别子系统(8)、所述离岗判别子系统(9)和所述聊天判别子系统(10)分别电性连接异常报警子系统(11)。

2.一种柜面助手履职监控装置的使用方法，其特征在于，包括以下步骤：

步骤一：所述视频帧子系统(1)将视频帧数据处理成JPG数据集合(2)，所述视频帧子系统(1)将所述JPG数据集合(2)输入到所述目标检测子系统(3)；

步骤二：所述目标检测子系统(3)根据所述JPG数据集合(2)生成此张图片中的目标集(4)，每个所述目标集(4)内包括以下信息：每个目标的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂),以及目标类别标号；

步骤三：所述目标检测子系统(3)将所述目标集(4)输入到所述目标过滤子系统(5)中，所述目标过滤子系统(5)将所述目标集(4)进行目标的滤除输出新的目标集(6)，利用面积公式(y₂-y₁)*(x₂-x₁)计算出每个目标框的面积大小，因为该设备主要针对近距离目标检测异常行为，因此对于画面背景中出现的距离较远的目标必须滤除掉，降低对检测结果的影响，根据图片分辨率大小640x480，分别对每个目标设置阈值，例如对于目标类别人设置阈值为7000，对于目标类别头设置阈值为5000；

步骤四：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述睡觉判别子系统(7)中，所述睡觉判别子系统(7)依据所述目标集(6)中类别人的左上角(x_1person,y_1person)坐标和右下角(x_2person,y_2person)坐标，计算人这类别的目标框的宽度w和高度h，令w_person＝x_2person-x_1person，h_person＝y_2person-y_1person得到该类别目标框的w_person和h_person，根据w_person和h_person的比例关系判断该目标是否处在坐立状态还是可能趴着睡觉的状态，如果是前者判断该张图片为无睡觉行为，如果是后者则进一步判断是否处于睡觉状态，判定规则如下：对目标类别人中的宽度w_person进行十等分点的划分，计算二等分点和八等分点的坐标的横坐标轴x的大小，令x_Leftperson＝x_1person+0.2*w_person，x_Rightperson＝x_1person+0.8*w_person，同样的方法计算目标类别头部的x_LeftHead和x_RightHead分别比较x_LeftHead与x_Leftperson和x_Rightperson与x_RightHead的值的大小，当x_1personx_LeftHeadx_Leftperson或者x_Rightpersonx_RightHeadx_2person时，判定该目标处于睡觉状态；

步骤五：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述玩手机判别子系统(8)中，所述玩手机判别子系统(8)依据所述目标集(6)中目标类别，应该首先判定是否同时出现了人、手、手机，三个类别，如果出现了利用判定规则进行判定，判定规则如下：规定人的两个坐标为(x_1person,y_1person),(x_2person,y_2person)，手机的两个坐标为(x_1phone,y_1phone)，(x_2phone,y_2phone)；

步骤五一：计算手机区域面积Area_phone＝(y_2person-y_1person)*(x_2person-x_1person)；

步骤五二：计算类别人和手机的交集面积，计算交集区域左上角和右下角的坐标(x₁,y₁),(x₂,y₂)，令x₁＝max(x_1person,x_1phone)，y₁＝max(y_1person,y_1phone)，x₂＝min(x_2person,x_2phone)，y₂＝min(y_2person,y_2phone)，判断x₂-x₁和y₂-y₁值的正负，如果有一个值为负，说明类别人和手机没有交集，判断为正常状态，否则计算交集面积Area_iou＝(y₂-y₁)*(x₂-x₁)，计算交集面积占手机面积的比例p＝Area_iou/Area_phone，设定阈值thresh＝0.2的大小，当p＞thresh的时候，判定为玩手机的状态；

步骤六：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述离岗判别子系统(9)中，所述离岗判别子系统(9)依据所述目标集(6)中目标类别，应该首先判定是否检测到了类别人，如果没有人则进行判断，判定规则如下：连续检测n次，如果出现有n/2次以上存在无人状态，则判定为离岗，否则为正常状态；

步骤七：所述目标过滤子系统(5)将所述新的目标集(6)输入到所述聊天判别子系统(10)中，所述聊天判别子系统(10)依据所述目标集(6)中目标类别，应该首先判定是否检测到了类别人和头，如果同时出现多个人和头进行判断，判定之前需要对检测到的头和人的图像特征进行相似性对比，筛选出图片的前景是否真出现了两个人而不是背景中出现的人，定义表示图像特征相似性结果，则：

如果确定图片前景中存在两个人，则进行判定，判定规则如下：连续检测n次，如果出现n/2次以上存在多个人和头的状态，则判定为聊天，否则正常状态；

步骤八：如果所述睡觉判别子系统(7)、所述玩手机判别子系统(8)、所述离岗判别子系统(9)和所述聊天判别子系统(10)任意子系统出现异常行为状态，所述异常报警子系统(11)将报警信息传输到所述上层应用端，报警信息包括：异常行为图片、异常行为坐标信息，所述上层应用端将报警信息传输到web服务端，由管理员自行登录查看操作。

3.根据权利要求2所述的柜面助手履职监控装置使用方法，其特征在于：所述目标检测子系统(3)需要对整张图片进行检测，分类并定位图片中的目标，其过程如下：

目标定位原理：首先定义输入的图片的集合为{(Pⁱ,Gⁱ)}_i＝1,..,N,

其中：Pⁱ表示第i个带预测的候选目标检测框即region proposal；

Gⁱ表示第i个真实目标检测框即ground-truth；

在本目标检测算法中，Pⁱ是根据真实训练集的对所有的ground-truth利用K-means算法计算得到的；

在Pⁱ中，表示候选的目标框的中心点在原始图像中的x坐标；

表示候选的目标框的中心点在原始图像中的y坐标；

表示候选目标框的长度；

表示候选目标框的宽度；

Gⁱ表示的是ground-truth四维特征，其含义与Pⁱ一样，则Pⁱ与Gⁱ的映射关系为：

其映射关系表示要找到一种映射函数f，当输入Pⁱ时，得到的能够无限接近Gⁱ；

边界框的回归是利用平移变换和尺度变换来实现映射的，平移变换的计算公式如下：

尺度变换的计算公式如下：

其中：d_*(P)(*代表x,y,w,h)，接下来将图像的特征输入到线性函数里求解这4个变化；

令特征为则

利用最小二乘法或者梯度下降算法求解，其公式为：

其中：

定义预测边框时c_x,c_y是相对于图片P_x左上角的位置，每个小格的长度为1，σ(t_x),σ(t_y)分别是经过sigmoid输出的0-1之间的偏移量，所以预测的目标框的(x,y,w,h)为：

生成此张图片中的所述目标集(4)，目标集内包括以下信息：每个目标的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂),坐标计算过程为：

此外目标集内信息能够表示出每个目标框的目标类别。