[发明专利]基于图像处理的学生行为异常检测方法

说明书

本发明公开了一种基于图像处理的学生行为异常检测方法，涉及图像处理技术领域，该方法包括：获取考场监控视频中的每帧RGB图像和深度图像；获取每帧RGB图像中对每个人进行关键点检测的第一热图限定参数、第二热图限定参数；利用每个人的第一热图限定参数和第二热图限定参数获取每帧图像中每个人的关键点热图；利用神经网络得到学生处于考试状态或异常状态；利用关键点热图获取学生的目标视线向量；获取距离该学生的目标视线向量最近的目标关键点，利用目标关键点与目标视线向量的距离确定学生是否存在眼神互动；利用学生存在眼神互动的频率确定该学生是否存在异常行为，本发明实现了对考场中学生异常行为的智能识别。

技术领域

本发明涉及图像处理技术领域，具体涉及基于图像处理的学生行为异常检测方法。

背景技术

对于重要考试学校不仅安排监考员进行监考，还会在考场的多个位置设置监控摄像头，进行全方位监控，将考场画面实时转播到巡检部门，巡检人员通过监控视频识别学生行为，判断学生是否存在作弊行为，并且还可以将监控视频保存，用于后期确认作弊的证据。

但是由于考场人员众多，监考员无法关注到每个学生的行为状态，确定是否作弊，巡检人员也无法通过监控视频识别出所有存在作弊行为的学生，并且设置监控仅仅存在录制存储的功能，不具备分析功能，所以无法判断当前时刻是否存在学生作弊的情况，因此，需要基于图像处理的学生行为异常检测方法。

发明内容

本发明提供基于图像处理的学生行为异常检测方法，以解决现有的问题。

本发明的基于图像处理的学生行为异常检测方法采用如下技术方案：该方法包括：

获取考场监控视频中的每帧RGB图像和深度图像；

获取每个人在每帧深度图像和RGB图像中对应的目标包围框，每个人包括监考员和学生；

利用每帧RGB图像中每个人的运动偏移量得到每帧RGB图像中对每个人进行关键点检测的第一热图限定参数；

利用每帧深度图像得到的每个人的眼部尺寸获取每帧RGB图像中对每个人进行关键点检测的第二热图限定参数；

利用每帧包含多个目标包围框的RGB图像和RGB图像中每个人的第一热图限定参数、第二热图限定参数得到每帧RGB图像中每个人的关键点的热图；

利用每个学生的眼部和嘴部的关键点的热图中像素点的坐标得到多个垂直于面部的向量作为该学生的视线向量，利用眼部和嘴部的关键点的热图中像素点的灰度值确定出视线向量中的目标视线向量；

获取距离该学生的目标视线向量最近的可互动对象的眼部关键点作为目标关键点，利用目标关键点的热图中心点与目标视线向量之间的距离确定学生是否与可互动对象存在眼神互动；

将每个学生的所有身体部位的关键点的热图输入训练好的时空图卷积神经网络，输出学生当前时刻为考试状态或异常状态；

利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为。

进一步，利用学生处于考试状态时存在眼神互动的频率确定该学生是否存在异常行为的步骤包括：

获取学生处于考试状态时的多帧RGB图像以及每帧RGB图像中学生是否与可互动对象存在眼神互动；

对每个学生构建第二散点图，横坐标为时间点，纵坐标为存在眼神互动的可互动对象的编号，不存在眼神互动则纵坐标的值为0；

对第二散点图进行傅里叶变换得到第二散点图的频域图；

若频域图中频率大于设定的频率阈值的部分存在曲线，则说明该学生存在异常行为。

进一步，得到每帧RGB图像中每个人的运动偏移量的步骤包括：