[发明专利]一种基于多摄像头协同分析和识别考生异常行为的方法

权利要求书

1.一种基于多摄像头协同分析和识别考生异常行为的方法，其特征在于采用深度学习方法从考场监控视频多角度提取出考生的身体关键点，利用异常行为规则通过四肢及骨骼点之间的相对关系判断考生是否有异常行为，最后可视化考生骨架及其异常行为，考生异常行为识别具体步骤包括下述步骤:

步骤1：考生行为采集设备的搭建

在考场正面和侧面架设两个高清摄像头，从考场的正面和侧面对考生进行观测；

步骤2：考生身体关键点的识别

从视频影像逐帧获取图像作为Alphapose模型输入数据，使用YOLO模型对考生的身体范围进行标注，将标注考生范围的数据使用POSE模型进行关键点的识别，所述关键点为鼻子、左右眼、左右耳、左右肩、左右手肘、左右手腕、左右臀、左右膝盖、左右脚踝和肩中心，并将其归整为下述表1的关键点编号：

表1关键点编号

编号	名称	编号	名称
0	鼻子	9	左手腕
1	左眼	10	右手腕
2	右眼	11	左臀
3	左耳	12	右臀
4	右耳	13	左膝盖
5	左肩	14	右膝盖
6	右肩	15	左脚踝
7	左手肘	16	右脚踝
8	右手肘	17	肩中心

步骤3：制定考生异常行为的判断规则

1)站立判断

在侧面摄像头图像中若计算的同侧腰与大腿夹角θ大于169°夹角，则判断为站立，所述同侧腰与大腿夹角θ由下述(a)～(e)式计算：

v₁＝(x₁₇-x₁₁,y₁₇-y₁₁) (a)；

v₂＝(x₁₃-x₁₁,y₁₃-y₁₁) (b):

式中：v₁、v₂分别为左臀到肩中心向量和左臀到左膝盖向量；d₁、d₂分别为左臀到肩中心直线距离和左臀到左膝盖直线距离；x₁₁、y₁₁、x₁₃、y₁₃、x₁₇、y₁₇为对应其下标编号的关键点坐标；

2)举手判断

在正面摄像头图像中若左右手腕关键点y值小于等于相同方位的肩膀y值，即满足下述(f)～(g)式判定为举手；

y₅≥y₉ (f)；

y₆≥y₁₀ (g)；

3)左顾右盼判断

在正面摄像头图像中若鼻子横坐标x₀大于左肩中点横坐标或小于右肩中点横坐标，即满足下述(h)～(i)式判定为左顾右盼：

步骤4：考生异常行为的可视化

1)绘制每个考生的身体关键点，并采用不同颜色区分左右边四肢的关键点；

2)根据下述表2的关键点连接关系绘制四肢线段：

表2关键点连接关系

部位	关键点连接关系
头部	(0，1)，(0，2)，(1，3)，(2，4)
手臂	(5，6)，(5，7)，(7，9)，(6，8)，(8，10)
躯干	(17，11)，(17，12)
腿部	(11，13)，(12，14)，(13，15)，(14，16)

3)根据异常行为建立文本框展示当前异常行为，并获取当前考生范围用红色矩形框突出考生位置，所述矩形框由左上角坐标、右下角坐标确定，具体计算如下述(j)～(l)式：

右下角坐标：(max(x_i)，max(y_i)) (j)；

左上角坐标：(min(x_i)，min(y_i)) (k)；

文本坐标：(min(x_i)，min(y_i)-5) (1)；

4)重复上述1)～4)步骤绘制图像，直至所有考生图像绘制完成；

5)若具有异常行为则根据规则将考生四肢和关键点及其对应异常行为可视化在每帧视频影像中，最后输出识别考生异常行为的视频。

2.根据权利要求1所述基于多摄像头协同分析和识别考生异常行为的方法，其特征在于所述关键点像素坐标系X轴水平向右为正，Y轴垂直向下为正，在摄像头图像中某考生关键点i的像素坐标为(x_i，y_i)。