[发明专利]一种基于人脸和语音识别的课堂行为监控系统及方法

说明书

本发明公开了一种基于人脸和语音识别的课堂行为监控系统及方法，包括以下步骤：通过摄像头采集课堂中学生、教师的视频信息；通过录音设备采集课堂中学生、教师的语音信息；主控处理器对接收到的学生、教师的视频信息进行预处理，提取学生、教师的面部表情特征和行为特征；主控处理器对接收到的学生的语音信息进行处理，提取学生语音特征；主控处理器对接收到的教师的语音数据信息进行处理，提取教师语音特征，计算教师教学效果的分值，根据得分对教师教学做出评价并提供指导性建议。本发明通过对课堂中教师、学生的课堂行为观察，提高评价的准确性及客观性，可以完善教学方法提升教学质量。

技术领域

本发明主要涉及一种基于人脸和语音识别的课堂行为监控系统及方法。

背景技术

对于课堂行为监控，是学校评价教学质量的重要环节，充分了解教师的教课水平和学生上课的反应，才能保证高质量教学水平。现有，对于课堂行为的监控采用学生记录或者老师测试模拟、老师观察监督的方式，此种方式不能够充分调动学生的学习兴趣，不能评价老师的教学效果，无法同时实现对学生、教师的课堂行为的采集、分析、记录及评价。因此，如何利用基于人脸识别技术和语音识别技术来对学生和教师的课堂行为进行精确采样和智能分析与评价，实现对教学课堂中学生和教师的表现行为进行观察和记录，有效提高课堂教学效果，促进学生的全面发展是值得研究和开发的课题。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于人脸和语音识别的课堂行为监控系统及方法，从学生行为评价和教师行为评价两个方面进行数据收集及分析评价，收集学生在课堂上的表现和教师在课堂上的表扬和批评等反馈，并通过数据分析，评价学生的学习状态及学习效果，同时对教师教学效果进行评价。

本发明所采用的技术方案是：

一种基于人脸和语音识别的课堂行为监控系统，包括

视频信息采集系统，包括安装在教室四个墙角的全方位旋转摄像头、与摄像头相连的解码器、与解码器相连的画面分割器，用于采集课堂中学生、教师的视频数据信息；

语音信息采集系统，包括安装在学生课桌下面以及讲台上的录音设备，用于采集课堂中学生、教师的语音数据信息；

主控处理器，对学生、教师的视频数据信息和语音信息进行预处理，提取学生、教师的面部表情特征和行为特征；

分析处理器，将学生、教师的面部表情特征和行为特征于标准模板进行比较，并计算相应得分。

一种基于人脸和语音识别的课堂行为监控方法，包括以下步骤：

步骤一、通过安装在教室四个墙角的摄像头采集课堂中学生、教师的视频数据信息；通过安装在学生课桌下面以及讲台上的录音设备采集课堂中学生、教师的语音数据信息；

步骤二、采集到的学生、教师的视频数据信息经解码器解码和画面分割器分割后，发送给主控处理器；将采集到的学生、教师的语音数据信息发送给主控处理器；

步骤三、主控处理器对接收到的学生的视频数据信息进行预处理，提取学生的面部表情特征和行为特征，通过分析处理器将学生面部表情特征与学生面部表情标准模板进行比较，依据比较结果计算课堂中学生面部表情表现得分，将学生行为特征与学生行为标准模板进行比较，依据比较结果计算课堂中学生行为表现得分；

步骤四、主控处理器对接收到的教师的视频数据信息进行预处理，提取教师的面部表情特征和行为特征，通过分析处理器将教师面部表情特征与及教师面部表情标准模板进行比较，依据比较结果计算教师对学生课堂表现面部表情反应的得分，将教师行为特征与教师行为标准模板进行比较，依据比较结果计算教师对学生课堂表现行为反应的得分；