[发明专利]一种基于人脸和语音识别的课堂行为监控系统及方法

权利要求书

1.一种基于人脸和语音识别的课堂行为监控方法，其特征是，包括以下步骤：

步骤一、通过安装在教室四个墙角的摄像头采集课堂中学生、教师的视频数据信息；通过安装在学生课桌下面以及讲台上的录音设备采集课堂中学生、教师的语音数据信息；

步骤二、采集到的学生、教师的视频数据信息经解码器解码和画面分割器分割后，发送给主控处理器；将采集到的学生、教师的语音数据信息发送给主控处理器；

步骤三、主控处理器对接收到的学生的视频数据信息进行预处理，提取学生的面部表情特征和行为特征，通过分析处理器将学生面部表情特征与学生面部表情标准模板进行比较，依据比较结果计算课堂中学生面部表情表现得分，将学生行为特征与学生行为标准模板进行比较，依据比较结果计算课堂中学生行为表现得分；

步骤四、主控处理器对接收到的教师的视频数据信息进行预处理，提取教师的面部表情特征和行为特征，通过分析处理器将教师面部表情特征与及教师面部表情标准模板进行比较，依据比较结果计算教师对学生课堂表现面部表情反应的得分，将教师行为特征与教师行为标准模板进行比较，依据比较结果计算教师对学生课堂表现行为反应的得分；

步骤五、主控处理器对接收到的学生的语音数据信息进行处理，提取学生语音特征，训练语音标准模板，将学生语音特征与语音标准模板进行比较，依据比较结果计算课堂中每位学生的发言次数及频率、发言时间长短以及小组讨论时的发言比率；

步骤六、主控处理器对接收到的教师的语音数据信息进行处理，提取教师语音特征，计算教师教学效果的分值，并与教师教学效果平均分值进行比较，当该分值小于教师教学效果平均分值时，发出提示；

步骤七：主控处理器将课堂中学生面部表情和行为表现得分以及教师对学生课堂表现面部表情反应和行为反应的得分进行整合，得出每个学生的课堂行为总分，并将该总分与主控制器中设置的学生课堂行为平均分数进行比较，当该总分小于学生课堂行为平均分数，发出提示；

步骤八：将学生、教师的视频数据信息、语音数据信息、每个学生的课堂行为总分和教师教学效果的分值存储到主控处理器的数据库中。

2.根据权利要求1所述的一种基于人脸和语音识别的课堂行为监控方法，其特征是，所述学生、教师的视频数据信息包括学生、教师的行为信息和学生、教师的面部表情信息。

3.根据权利要求1所述的一种基于人脸和语音识别的课堂行为监控方法，其特征是，所述步骤三中，所述学生面部表情标准模板包括虹膜中心、内眼角点、外眼角点、鼻尖点、鼻孔点、耳屏点、耳下点、口角点、头顶点、眉内点和眉外点；所述学生行为标准模板包括举手、低头做笔记和抬头听课。

4.根据权利要求1所述的一种基于人脸和语音识别的课堂行为监控方法，其特征是，所述步骤三中，在进行学生的面部表情特征和行为特征与标准模板进行比较之前，先对学生面部表情标准模板和学生行为标准模板进行赋分，所述学生面部表情标准模板中专注、高兴表情设定为10分，冷漠表情设定为4分，烦躁表情设定为1分；学生行为标准模板中举手、低头做笔记、抬头听课的行为设定为10分。

5.根据权利要求1所述的一种基于人脸和语音识别的课堂行为监控方法，其特征是，所述步骤四中，所述教师面部表情标准模板包括嘴角弧度、眉内点和眉外点；所述教师行为标准模板包括教师点头次数。

6.根据权利要求1所述的一种基于人脸和语音识别的课堂行为监控方法，其特征是，所述步骤四中，在进行教师的面部表情特征和行为特征与标准模板进行比较之前，先对教师面部表情标准模板和教师行为标准模板进行赋分，所述教师面部表情标准模板中愉悦表情设定为10分，不满表情设定为0分，其余在中间范围依据满意程度赋分，所述教师行为标准模板中依据教师点头次数进行赋分。

7.根据权利要求1所述的一种基于人脸和语音识别的课堂行为监控方法，其特征是，所述步骤五中，学生语音特征包括学生每堂课的发言次数和频率、每次发言时间长短和小组谈论时发言比率。