[发明专利]基于多目标视频分析的课堂抬头检测系统及其工作方法

权利要求书

1.一种基于多目标视频分析的课堂抬头检测系统，其特征在于，包括：人脸检测模块、人脸姿态估计模块及云边协同调度模块；

人脸检测模块，根据获取的课堂视频数据，使用卷积神经网络模型得到每个视频帧中的人脸集合；

人脸姿态估计模块，对上述人脸集合中的每一个人脸，使用集成回归树模型进行特征点检测，基于特征点进行姿态估计，得到其在空间中的姿态角，并根据俯仰角的大小作为学生是否听课的判断依据，统计课堂听课率；

云边协同调度模块，根据系统当前的资源状态以及用户需求，对上述卷积神经网络模型及集成回归树模型的最优配置进行求解，以提高人脸检测和人脸姿态估计的精度。

2.根据权利要求1所述的基于多目标视频分析的课堂抬头检测系统，其特征在于，所述系统当前的资源状态包括：当前可用的内存、处理器、以及带宽。

3.根据权利要求1所述的基于多目标视频分析的课堂抬头检测系统，其特征在于，所述人脸检测模块包含以下步骤：

(11)将课堂视频的每一个视频帧作为卷积神经网络模型的输入，模型的输出为候选人脸集合；

(12)根据卷积神经网络模型的置信度，在候选人脸集合上执行非极大值抑制，去除重叠的冗余人脸，得到最终的人脸集合。

4.根据权利要求1所述的基于多目标视频分析的课堂抬头检测系统，其特征在于，所述人脸姿态估计模块包含以下步骤：

(21)对人脸集合F中的每一个人脸f，基于集成回归树模型进行人脸特征点检测，得到多个人脸关键特征点，记为集合P_2d，其中，第i项(x_i，y_i)表示第i个特征点在二维空间中的坐标；

(22)根据三维人脸模型，将人脸特征点在三维空间中的坐标记为集合P_3d，三维特征点投影到二维平面通过公式P_2d＝[R|t]P_3d表示，其中，R表示33的旋转矩阵，t表示31的平移矩阵；

(23)基于若干个人脸特征点构建方程组，通过求解N点透视位姿问题得到旋转矩阵R和平移矩阵t，并将旋转矩阵转换成欧拉角表示，记为(yaw，pitch，roll)，即人脸在三维空间中的姿态角，通过其中的俯仰角pitch与预定义阈值θ的对比，判断学生是否抬头，从而得到整个课堂的听课人数比例。