[发明专利]基于机器学习的学生注意力检测系统

权利要求书

1.基于机器学习的学生注意力检测系统，包括教室主体（1）、安装架（4）和第一监控模块（7），其特征在于：所述教室主体（1）的内部下端设置有学生座位（2），且教室主体（1）的右侧内壁安置有黑板（3），所述安装架（4）镶嵌于教室主体（1）的两侧内壁上端，且教室主体（1）的右侧内壁上端连接有第一摄像头（5），所述教室主体（1）的左侧内壁上端安装有第二摄像头（6），所述第一监控模块（7）的输出端电性连接有中央处理模块（8），且中央处理模块（8）的输出端电性连接有第一传输模块（9），所述第一传输模块（9）的输出端电性连接有终端（10），且终端（10）的输出端电性连接有学生视频保存模块（11），所述学生视频保存模块（11）的输出端电性连接有第二传输模块（12），所述第二传输模块（12）的输出端电性连接有学生家长终端模块（13）；

所述终端（10）的输出端电性连接有人数采集模块（14），且人数采集模块（14）的输出端电性连接有空缺座位识别模块（15），所述终端（10）的输出端电性连接有人脸检测/定位模块（16），所述人数采集模块（14）与终端（10）之前为单向电性连接，且人数采集模块（14）与空缺座位识别模块（15）之间为串联电性连接；

所述人脸检测/定位模块（16）的输出端电性连接有脸部/头部裁剪模块（17），且脸部/头部裁剪模块（17）的输出端电性连接有脸部/视线三轴朝向检测模块（18），所述终端（10）的输出端电性连接有教师状态采集模块（21），所述脸部/视线三轴朝向检测模块（18）与脸部/头部裁剪模块（17）之间为串联电性连接，其脸部/头部裁剪模块（17）与人脸检测/定位模块（16）之间为单向电性连接，且人脸检测/定位模块（16）与终端（10）之间为串联电性连接；

所述教师状态采集模块（21）的输出端电性连接有教师视频保存模块（22），所述脸部/视线三轴朝向检测模块（18）的输出端电性连接有朝向数据聚类模块（19），所述教师视频保存模块（22）与教师状态采集模块（21）之间为单向电性连接，且教师状态采集模块（21）与终端（10）之间为串联电性连接；

所述人脸检测/定位模块（16）对视频中的每一个人脸进行定位，使用MTCNN人脸检测/定位技术来定位所有学生的脸部，而脸部/头部裁剪模块（17）根据坐标进行脸部/头部裁剪，脸部/视线三轴朝向检测模块（18）对裁剪出的脸部图像使用Pupil detection技术识别出学生脸部/视线、注意力的三轴朝向，而朝向数据聚类模块（19）对朝向数据进行聚类，在主类比例高于第一阈值的聚类结果中，分离出其他类别与主类距离大于第二阈值的非大类样本，并对其标记为注意力分散程度，根据标记数据并在时间轴上加以卡尔曼滤波技术平滑处理，抽取视频序列中时间轴上每个学生注意力分散程度高于第三阈值的片段，当超过指定范围时，则判断出该学生处于分心状态。

2.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述第一摄像头（5）的形状与第二摄像头（6）的形状相同，且第一摄像头（5）与第二摄像头（6）之间关于教室主体（1）的中心线相对称。

3.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述第一监控模块（7）与中央处理模块（8）之间为单向电性连接，其中央处理模块（8）与第一传输模块（9）之间为串联电性连接，且第一传输模块（9）与终端（10）之间为单向电性连接。

4.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述学生视频保存模块（11）与第二传输模块（12）之间为串联电性连接，且第二传输模块（12）与学生家长终端模块（13）之间为串联电性连接。

5.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述朝向数据聚类模块（19）的输出端电性连接有视频片段裁剪模块（20），且视频片段裁剪模块（20）的输出端电性连接有视频人脸识别模块（23），所述视频人脸识别模块（23）与第二传输模块（12）之间为单向电性连接，其视频人脸识别模块（23）与视频片段裁剪模块（20）之间为串联电性连接，且视频片段裁剪模块（20）与朝向数据聚类模块（19）之间为单向电性连接。

6.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述终端（10）的输入端电性连接有第二监控模块（24），且终端（10）的输出端电性连接有课程视频保存模块（25），所述课程视频保存模块（25）与终端（10）之间为串联电性连接，其终端（10）与第二监控模块（24）之间为单向电性连接，且课程视频保存模块（25）与第二传输模块（12）之间为串联电性连接。