[发明专利]一种基于人脸和语音识别的课堂行为监控系统及方法

摘要

本发明公开了一种基于人脸和语音识别的课堂行为监控系统及方法，包括以下步骤：通过摄像头采集课堂中学生、教师的视频信息；通过录音设备采集课堂中学生、教师的语音信息；主控处理器对接收到的学生、教师的视频信息进行预处理，提取学生、教师的面部表情特征和行为特征；主控处理器对接收到的学生的语音信息进行处理，提取学生语音特征；主控处理器对接收到的教师的语音数据信息进行处理，提取教师语音特征，计算教师教学效果的分值，根据得分对教师教学做出评价并提供指导性建议。本发明通过对课堂中教师、学生的课堂行为观察，提高评价的准确性及客观性，可以完善教学方法提升教学质量。

主权项

1.一种基于人脸和语音识别的课堂行为监控方法，其特征是，包括以下步骤：步骤一、通过安装在教室四个墙角的摄像头采集课堂中学生、教师的视频数据信息；通过安装在学生课桌下面以及讲台上的录音设备采集课堂中学生、教师的语音数据信息；步骤二、采集到的学生、教师的视频数据信息经解码器解码和画面分割器分割后，发送给主控处理器；将采集到的学生、教师的语音数据信息发送给主控处理器；步骤三、主控处理器对接收到的学生的视频数据信息进行预处理，提取学生的面部表情特征和行为特征，通过分析处理器将学生面部表情特征与学生面部表情标准模板进行比较，依据比较结果计算课堂中学生面部表情表现得分，将学生行为特征与学生行为标准模板进行比较，依据比较结果计算课堂中学生行为表现得分；步骤四、主控处理器对接收到的教师的视频数据信息进行预处理，提取教师的面部表情特征和行为特征，通过分析处理器将教师面部表情特征与及教师面部表情标准模板进行比较，依据比较结果计算教师对学生课堂表现面部表情反应的得分，将教师行为特征与教师行为标准模板进行比较，依据比较结果计算教师对学生课堂表现行为反应的得分；步骤五、主控处理器对接收到的学生的语音数据信息进行处理，提取学生语音特征，训练语音标准模板，将学生语音特征与语音标准模板进行比较，依据比较结果计算课堂中每位学生的发言次数及频率、发言时间长短以及小组讨论时的发言比率；步骤六、主控处理器对接收到的教师的语音数据信息进行处理，提取教师语音特征，计算教师教学效果的分值，并与教师教学效果平均分值进行比较，当该分值小于教师教学效果平均分值时，发出提示；步骤七：主控处理器将课堂中学生面部表情和行为表现得分以及教师对学生课堂表现面部表情反应和行为反应的得分进行整合，得出每个学生的课堂行为总分，并将该总分与主控制器中设置的学生课堂行为平均分数进行比较，当该总分小于学生课堂行为平均分数，发出提示；步骤八：将学生、教师的视频数据信息、语音数据信息、每个学生的课堂行为总分和教师教学效果的分值存储到主控处理器的数据库中。