[发明专利]一种学员课堂学习状态在线评估方法及系统

说明书

本公开提供了一种学员课堂学习状态在线评估方法及系统。其中，学员课堂学习状态在线评估方法包括：同步采集学员的视频图像及声音信号；分别将视频图像及声音信号对应输入至训练完成的表情识别模型和情绪状态识别模型中，输出学员对应的表情类别和情绪状态类别及对应的概率；其中，表情、情绪状态和课堂学习状态划分的类别均相同；将表情识别结果和情绪状态识别结果输入至学员状态评估模型中，输出评估的学员课堂学习状态类别。

技术领域

本公开属于学员课堂学习状态评估领域，尤其涉及一种学员课堂学习状态在线评估方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

课堂教学效果的正确评估，是促进学员成长、教师专业发展和提高课堂教学质量的重要手段，而学员作为课堂的主体，其在课堂上的表现是教学效果评估的重要组成部分。然而，目前由于一个班级中学员人数多，很难做到对每一个学员的课堂表现进行评价，这样的评价结果往往是笼统的，并不具体。这样不利于对课堂效果进行量化评估，更不利于对每一个学员的“针对性”培养。本发明可实现对每一个学员上课状态的在线监测和评估，有效弥补当前学员评价方式的不足，同时也为教师教学效果评估提供了依据。学员课堂学习状态在线评估系统实时采集学员的面部图像和声音信号，通过对面部表情和语速、语调的分析，综合推断学员当前的学习状态。

发明人发现，在学员课堂学习状态在线评估中，需要解决的问题是如何实时地、准确地评估每一位学员的学习状态。具体来说可分为以下几个问题：(1)每一位学员面部表情和声音信号的实时采集问题。现有的在教室四角安装摄像头的方式只能在宏观上监控整个班的动态，很难实时捕捉每位学员的面部表情和声音信号；(2)面部表情的实时识别问题。这涉及到学员面部图像的定位及处理以及面部表情识别的实时性与准确性问题。(3)面部表情识别结果与声音情绪识别结果相结合实现学习状态识别问题。如果只是依靠面部表情或者声音识别结果，很难准确且全面地判断学员当时的精神状态，必须结合两者的识别结果，同时还需考虑上一时刻学员的精神状态，以提高识别的准确性。

发明内容

为了解决上述问题，本公开提供一种学员课堂学习状态在线评估方法及系统，其通过对视频图像的处理实时识别学员学习时的面部表情，同时通过对声音信号的处理，实时识别学员学习时的情绪状况，通过特定模型把表情识别结果和情绪识别结果相融合，实现了对学员学习状态的实时识别。

为了实现上述目的，本公开采用如下技术方案：

本公开的第一方面提供一种学员课堂学习状态在线评估方法，其包括：

同步采集学员的视频图像及声音信号；

分别将视频图像及声音信号对应输入至训练完成的表情识别模型和情绪状态识别模型中，输出学员对应的表情类别和情绪状态类别及对应的概率；其中，表情、情绪状态和课堂学习状态划分的类别均相同；

将表情识别结果和情绪状态识别结果输入至学员状态评估模型中，输出评估的学员课堂学习状态类别；其中，学员状态评估模型为：

R_ti＝(αE_ti+βS_ti)·γ_(t-1)i

其中，i为第i种课堂学习状态，i取值范围为1～M，M表示课堂学习状态的总类别；R_ti表示t时刻第i种课堂学习状态的概率值；E_ti为t时刻第i种表情类别的概率值；S_ti为t时刻第i种情绪状态类别的概率值；α、β为已知权重系数，且α+β＝1；γ_(t-1)i为t-1时刻的结果识别系数，若t-1时刻识别为第i种课堂学习状态，其值为1，否则为0.9；t为大于或等于1的正整数，当t＝1时，γ_(t-1)i＝1。

本公开的第二个方面提供一种学员课堂学习状态在线评估系统，其包括：