[发明专利]基于多目标视频分析的课堂抬头检测系统及其工作方法

说明书

本发明公开了一种基于多目标视频分析的课堂抬头检测系统及其工作方法，包括：人脸检测模块，根据获取的课堂视频数据，使用卷积神经网络模型得到每个视频帧中的人脸集合；人脸姿态估计模块，对上述人脸集合中的每一个人脸进行特征点检测，基于特征点进行姿态估计，得到其在空间中的姿态角，并根据俯仰角的大小作为学生是否听课的判断依据，统计课堂听课率；云边协同调度模块，根据系统当前的资源状态以及用户需求，对上述卷积神经网络模型及集成回归树模型的最优配置进行求解，以提高人脸检测和人脸姿态估计的精度。本发明解决了现有技术不能高精度、低时延地同时对多目标进行分析、以及无法充分利用边缘设备和云服务器计算资源的问题。

技术领域

本发明属于多目标视频分析和边缘计算领域，具体指代一种基于多目标视频分析的课堂抬头检测系统及其工作方法。

背景技术

课堂教学评估是一种有效激励教师有目的性、针对性地不断改进并提高自己教学方式的手段，简要来说，开展课堂教学评价具有以下几点重要作用：

1)课堂教学评价具有导向功能，能够促进课堂教学改革；

2)课堂教学评价具有激励功能，可以加强教师之间的互相交流；

3)课堂教学评价是促进教师专业发展的重要途径；

4)课堂教学评价具有决策和鉴定功能，是学校管理工作的重要组成部分。

传统的课堂教学评价方式可以分为：1)现场观察评价：评价者进入课堂，实时实地听教师讲课并及时进行评价；2)监视监听评价：评价者不直接进入课堂，可以很大程度上避免给师生带来压力，使得获取的信息更加真实；3)量表评价：采用事先编制好的评价量表，由教师和学生根据他们对教学过程和效果的感受进行回答。以上几种评价方式都存在一定的缺点，首先它们都需要大量的人力与时间成本，其次都存在很大程度上的主观性。

如今，一些基于深度学习的方法开始被用于进行课堂教学评估，这类方法通常通过部署在教室中的监控摄像头获取视频数据，之后通过表情识别、动作识别等方式对学生的听课状态进行分析，判断学生的听课状态。这类方法可以比较准确地对单个学生的行为进行分析，然而，其缺点在于需要通过部署多个摄像头，才能够实现同时对多个目标的分析。另外，此类方法在实际部署时通常采用静态配置方法，无法根据当前资源状态以及用户需求进行自适应调整，导致边缘设备和云服务器的计算资源无法得到充分利用，从而无法实现精度和时延等关键指标的最优化。

因此，基于上述考虑，有必要提出一种基于多目标视频分析的课堂抬头检测系统，不仅可以节省大量的人力与时间成本，同时能够通过自适应的云边协同调度，充分利用边缘设备和云端的计算资源，满足高精度低时延的实时抬头检测需求。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于多目标视频分析的课堂抬头检测系统及其工作方法，以解决现有技术不能高精度、低时延地同时对多目标进行分析、以及无法充分利用边缘设备和云服务器计算资源的问题。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于多目标视频分析的课堂抬头检测系统，包括：人脸检测模块、人脸姿态估计模块及云边协同调度模块；

人脸检测模块，根据获取的课堂视频数据，使用卷积神经网络模型得到每个视频帧中的人脸集合；

人脸姿态估计模块，对上述人脸集合中的每一个人脸，使用集成回归树模型进行特征点检测，基于特征点进行姿态估计，得到其在空间中的姿态角，并根据俯仰角的大小作为学生是否听课的判断依据，统计课堂听课率；

云边协同调度模块，根据系统当前的资源状态以及用户需求，对上述卷积神经网络模型及集成回归树模型的最优配置进行求解，以提高人脸检测和人脸姿态估计的精度。

进一步地，所述系统当前的资源状态包括：当前可用的内存、处理器、以及带宽。