[发明专利]一种基于计算机视觉的课堂行为检测系统

说明书

本发明公开了一种基于计算机视觉的课堂行为检测系统，包括智能处理模块、数据采集模块和存储模块，智能处理模块分别与数据采集模块、存储模块相连接；智能处理模块包括数据处理模块、人体姿态估计模块、座位检测模块和人脸识别模块，数据处理模块分别与人体姿态估计模块、座位检测模块和人脸识别模块相连接，人体姿态估计模块包括躯体姿态估计模块、头部姿态估计模块和手部姿态估计模块，躯体姿态估计模块、头部姿态估计模块和手部姿态估计模块彼此串联固定连接；数据采集模块包括视频采集模块和无线传输模块，视频采集模块与摄像头相连接。本发明通过对每个学生在课堂上的学习行为进行分析提高学生的学习积极性，有助于提高学生的学习成绩。

技术领域

本发明涉及数字图像处理技术领域，具体为一种基于计算机视觉的课堂行为检测系统。

背景技术

近些年来，随着机器学习，尤其是深度学习的突破性发展，结合大数据时代的优势，数字图像信号处理的技术也有了质的飞跃，在人脸检测，人脸识别，头部姿态估计，以及身体姿态检测等各种技术都慢慢的成熟了起来，甚至达到了超越人类本身的水平。

目前，学校对学生进行系统化管理，从而提高学生的学习效率，但是在教师授课的课堂上，学生的听课状态对学习效率起到至关重要的作用，而教师在授课的过程中不能够对每个学生的听课状态进行监督，也不能及时发现，导致学生听课的效率降低。为此，需要设计一种新的技术方案给予解决。

发明内容

本发明的目的在于提供一种基于计算机视觉的课堂行为检测系统，通过对每个学生在课堂上的学习行为进行分析提高学生的学习积极性和学习效率，有助于提高学生的学习成绩。

为实现上述目的，本发明提供如下技术方案：一种基于计算机视觉的课堂行为检测系统，包括智能处理模块、数据采集模块和存储模块，所述智能处理模块分别与数据采集模块、存储模块相连接；所述智能处理模块包括数据处理模块、人体姿态估计模块、座位检测模块和人脸识别模块，所述数据预处理模块分别与人体姿态估计模块、座位检测模块和人脸识别模块相连接，所述人体姿态估计模块包括躯体姿态估计模块、头部姿态估计模块和手部姿态估计模块，所述躯体姿态估计模块、头部姿态估计模块和手部姿态估计模块彼此串联固定连接；所述数据采集模块包括视频采集模块和无线传输模块，所述视频采集模块与摄像头相连接，所述无线传输模块与物联网无线连接；所述存储模块包括视频存储模块、人脸信息存储模块、座位信息存储模块和学生信息存储模块，所述视频存储模块直接与视频采集模块相连接，所述人脸信息存储模块与人脸识别模块相连接，所述座位信息存储模块与座位检测模块相连接。

作为上述技术方案的改进，所述数据处理模块，用于将教室视频信息转化为图像序列，并对图像序列中的图像进行拼接和矫正得到教室的全景图片，然后对人体姿态估计模块、座位检测模块和人脸识别模块的检测数据进行处理和分析。

作为上述技术方案的改进，所述人体姿态估计模块，用于对学生听课时的身体姿态进行检测，检测的部位主要包括头部、左手、右手和颈部。

作为上述技术方案的改进，所述座位检测模块，用于根据人体姿态估计子模块得到的颈部位置信息和教室中所有座位的位置进行匹配，得到学生座位信息，并将学生座位信息储存到座位信息存储模块内。

作为上述技术方案的改进，所述人脸识别模块，用于对学生的面部信息进行检测和录入，并将学生的面部信息储存到人脸信息存储模块内，用于配合座位检测模块对座位和学生一一对应。

作为上述技术方案的改进，所述头部姿态估计模块，用于根据人脸识别模块得到的人脸框位置信息相对于摄像头的偏转角判定学生头部状态，包括左右偏头，低头，抬头和正常状态，根据学生的动作判断学生在课堂中的行为，并将学生的行为存入学生信息存储模块。

作为上述技术方案的改进，所述手部姿态估计模块，用于检测学生上课时手部的摆放姿态和动作，确定学生是否积极举手回答问题。