[发明专利]一种课堂注意力评估方法及系统

权利要求书

1.一种课堂注意力评估方法，其特征在于，包括以下步骤：

S1、对采集到的一节课的课堂视频按帧进行头部姿态检测，得到各帧图像中学生所在的位置框以及头部姿态；分别统计各帧图像中学生所在的位置框个数，得到各帧图像中的学生人数，并将各帧图像中学生人数的众数记为学生总人数；所述头部姿态包括：正抬头和非正抬头；所述正抬头为学生头部正面朝向教学信息源的抬头姿态；

S2、基于各帧图像中学生的头部姿态以及所述学生总人数，计算该节课的正抬头率和活跃指数；其中，所述正抬头率为头部姿态为正抬头的学生人数与学生总人数比值的平均值；所述活跃指数为学生头部姿态从非正抬头变为抬头姿态的频率的平均值；

S3、计算该节课的正抬头率和活跃指数的乘积，得到该节课的注意力估计值；

其中，所述步骤S1中采用头部姿态检测模型对采集到的一节课的课堂视频按帧进行头部姿态检测；

所述头部姿态检测模型的构建方法包括：

S01、搭建头部姿态检测模型；所述头部姿态检测模型包括：特征提取模块、语义模块和检测模块；所述特征提取模块包括多个级联的降采样模块，用于基于不同感受野来提取帧图像的多个尺度的特征，得到多尺度特征图；每个的尺度特征图分别对应输入到一个语义模块中；一个语义模块与一个检测模块对应相连；所述语义模块用于增加对应尺度特征图的背景信息得到语义特征图，并输入到所述检测模块中；所述检测模块包括并行的回归分支、分类分支和IOU Aware分支；所述回归分支用于计算语义特征图中每个像素点处的预测框；所述分类分支用于分别对语义特征图中每个像素点处的预测框，计算其属于不同头部姿态类别的概率，并将最大概率值所对应的头部姿态类别作为该预测框所属头部姿态类别的预测值；所述IOU Aware分支用于计算语义特征图中每个像素点处的预测框与真实框重合度的预测值；

S02、分别获取预采集到的训练集中各样本图像的正预设框和负预设框；具体为：对样本图像对应的语义特征图中的每个像素点预设若干个不同尺度的预设框，计算各预设框与真实框之间的IOU；将大于或等于预设IOU阈值的IOU所对应的预设框作为正预设框，将小于预设IOU阈值的IOU中前N个取值较大的IOU所对应的预设框作为负预设框；其中，所述训练集包括多个样本图像及其对应的标签；所述样本图像包括课堂视频帧图像；所述标签包括学生所在的真实框以及对应的学生头部姿态类别的真实值；N为正整数；

S03、将所述训练集输入到所述头部姿态检测模型中，以最小化所述回归分支计算得到的样本图像各正预设框中心点位置处的预测框与对应正预设框中心点的偏移量差异之和、最小化所述分类分支计算得到的样本图像各正预设框和各负预设框中心点位置处的预测框所属的头部姿态类别的预测值与对应头部姿态类别的真实值的差异之和，以及最小化所述IOU Aware分支计算得到的样本图像各正预设框中心点位置处的预测框与真实框重合度的预测值与对应正预设框与真实框重合度的真实值的差异之和为目标，训练所述头部姿态检测模型。

2.根据权利要求1所述的课堂注意力评估方法，其特征在于，所述步骤S2包括：

S21、将一节课分为多个时间段，分别计算各时间段的正抬头率和活跃指数；

S22、计算各时间段的正抬头率的平均值，得到该节课的正抬头率；

S23、计算各时间段的活跃指数的平均值，得到该节课的活跃指数。

3.根据权利要求2所述的课堂注意力评估方法，其特征在于，所述步骤S21包括：

S211、分别统计T_i时间段内各帧图像中头部姿态为正抬头的学生人数，并计算T_i时间段内头部姿态为正抬头的学生人数与学生总人数比值的平均值，得到T_i时间段的正抬头率；

S212、在T_i时间段内，分别对每一个学生统计其在相邻两帧图像中头部姿态发生变化、且其在后一帧图像中的头部姿态为正抬头的次数，得到每一个学生头部姿态发生相应变化的次数，并计算T_i时间段内学生头部姿态发生相应变化的频率的平均值，得到T_i时间段的活跃指数；

其中，，m为一节课所对应的时间段个数。