[发明专利]基于图像处理的学生行为异常检测方法

权利要求书

1.基于图像处理的学生行为异常检测方法，其特征在于，该方法包括：

获取考场监控视频中的每帧RGB图像和深度图像；

获取每个人在每帧深度图像和RGB图像中对应的目标包围框，所述每个人包括监考员和学生；

利用每帧RGB图像中每个人的运动偏移量得到每帧RGB图像中对每个人进行关键点检测的第一热图限定参数；

得到每帧RGB图像中对每个人进行关键点检测的第一热图限定参数的步骤包括：

对每帧RGB图像中每个人的运动偏移量进行归一化得到归一化值；

利用1减去归一化值得到每帧图像中对每个人进行关键点检测的第一热图限定参数；

利用每帧深度图像得到的每个人的眼部尺寸获取每帧RGB图像中对每个人进行关键点检测的第二热图限定参数；

得到每帧RGB图像中对每个人进行关键点检测的第二热图限定参数的公式为：其中，表示一个人进行关键点检测时的第二热图限定参数；表示一个人的眼部尺寸；

利用每帧包含多个目标包围框的RGB图像和RGB图像中每个人的第一热图限定参数、第二热图限定参数得到每帧RGB图像中每个人的关键点的热图；

利用每个学生的眼部和嘴部的关键点的热图中像素点的坐标得到多个垂直于面部的向量作为该学生的视线向量，利用眼部和嘴部的关键点的热图中像素点的灰度值确定出视线向量中的目标视线向量；

获取距离该学生的目标视线向量最近的可互动对象的眼部关键点作为目标关键点，利用目标关键点的热图中心点与目标视线向量之间的距离确定学生是否与可互动对象存在眼神互动；

将每个学生的所有身体部位的关键点的热图输入训练好的时空图卷积神经网络，输出学生当前时刻为考试状态或异常状态；

利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为。

2.根据权利要求1所述的基于图像处理的学生行为异常检测方法，其特征在于，利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为的步骤包括：

获取学生处于考试状态时的多帧RGB图像以及每帧RGB图像中学生是否与可互动对象存在眼神互动；

对每个学生构建第二散点图，横坐标为时间点，纵坐标为存在眼神互动的可互动对象的编号，不存在眼神互动则纵坐标的值为0；

对第二散点图进行傅里叶变换得到第二散点图的频域图；

若频域图中频率大于设定的频率阈值的部分存在曲线，则说明该学生存在异常行为。

3.根据权利要求1所述的基于图像处理的学生行为异常检测方法，其特征在于，得到每帧RGB图像中每个人的运动偏移量的步骤包括：

获取当前帧RGB图像的光流图以及光流图中的多个连通域，获取每个连通域的骨架线；

利用每个连通域的骨架线上的采样点与骨架线做垂线，得到每个连通域的平均宽度，将连通域的平均宽度作为连通域对应的人的运动偏移量。

4.根据权利要求1所述的基于图像处理的学生行为异常检测方法，其特征在于，获取学生的视线向量的步骤包括：

在左眼关键点的热图和嘴部关键点的热图中选取不同的像素点会得到多个不同的面部平面向量，其中（  ）；

类比该方法获取右眼关键点的热图和嘴部关键点的热图中不同像素点得到的多个面部平面向量，其中（ ）；

利用左眼关键点得到的任意一个面部平面向量和右眼关键点得到的任意一个面部平面向量相乘得到垂直于面部平面向量，作为该学生的视线向量；

左眼关键点和右眼关键点对应多个面部平面向量，不同的面部平面向量相乘则会得到不同的视线向量。

5.根据权利要求4所述的基于图像处理的学生行为异常检测方法，其特征在于，利用眼部和嘴部的关键点的热图中像素点的灰度值确定出视线向量中的目标视线向量的步骤包括：

获取得到视线向量的面部平面向量对应的像素点在眼部关键点和嘴部关键点的热图中的灰度值；

将得到面部平面向量的两个像素点的灰度值相乘得到面部平面向量的可能性；

将得到视线向量的两个面部平面向量的可能性相乘得到视线向量的可能性；

获取最大可能性的视线向量作为视线向量中的目标视线向量。