[发明专利]一种基于视频识别和语音分离技术的学生专注度评估系统

说明书

本发明公开了一种基于视频识别和语音分离技术的学生专注度评估系统，包括网络服务器以及通过互联网同时与该网络服务器连接的视频监控器、拾音器和显示终端，网络服务器由本地服务器和云平台组成，本地服务器对采集的姿态、表情图像信息和语音数据分别进行预处理和模式识别，而且根据每个学生的姿态、表情图像信息和语音数据处理结果相结合给出专注度评估结果。可以在线下教室中使用视频识别手段检测每个学生的肢体动作、通过语音分离与识别手段检测每个学生在课上是否在讲话以及讲话内容是否和课堂主题相关，借助姿态和语音检测的结果对整个教室中的每个学生进行学习专注度评估并实时展示给任课老师。

技术领域

本发明涉及智能教室用设备技术领域，具体为一种基于视频识别和语音分离技术的学生专注度评估系统。

背景技术

目前，公知的智慧教室系统以对教室的空调、门禁、黑板、音视频等设备的智能控制为主，少有学生专注度评估功能；而公知的专注度评估解决方案，以单个学生的评估为主，多需要头戴式设备的配合，仅适用于在线学习，而不利于线下教室中使用。但是，当今学生“双减”的迫切需求与社会知识累积变多、变难相矛盾，所以必须提高学习效率；而学生在学习过程中提高专注度是提高学习效率的必要前提，因此专注度评估是智慧教室不可缺少的组成部分。

发明内容

为了克服现有技术方案的不足，本发明提供一种基于视频识别和语音分离技术的学生专注度评估系统，能有效地解决背景技术提出的问题。

本发明解决其技术问题所采用的技术方案是：

一种基于视频识别和语音分离技术的学生专注度评估系统，包括网络服务器以及通过互联网同时与该网络服务器连接的视频监控器、拾音器和显示终端，所述网络服务器由本地服务器和云平台组成，所述视频监控器的数量至少为两个且用于多角度采集学生上课的姿态、表情图像信息，所述拾音器的数量至少为两个且用于采集学生上课时说话的语音数据，所述本地服务器对采集的姿态、表情图像信息和语音数据分别进行预处理和模型识别，而且根据每个学生的姿态、表情图像信息和语音数据处理结果相结合给出专注度评估结果并存放于云平台内，所述云平台内设有与显示终端连接的开放接口。

进一步地，所述显示终端包括有PC电脑、移动端以及置于教室后端的数据看板，所述移动端配置了与用户连接的权限模块。

进一步地，所述本地服务器预处理接收学生的姿态图像信息并进行头像切割，同时接收该学生的语音数据并进行语音分离。

进一步地，所述本地服务器模型识别是一种基于深度神经网络的算法模型，该算法模型包括表情识别模型、姿态识别模型和语音识别模型。

与现有技术相比，本发明的有益效果是：

（1）本发明的系统能通过图像视频手段自动辨识每位学生，并能自动识别每个学生的面部动作、肢体动作等行为特征，还能通过语音分离与识别技术判断学生在课堂上是否讲话、讲话内容是否和课堂相关，并根据学生辨识结果和行为识别结果自动评估每位学生上课的专注程度，并能实时展示并储存评分并将评分实时展示给任课老师，整个评估过程由智能算法模型自动给出结果，人工干预少，结果更客观可靠，能有效提升教学效果。

（2）本发明可以在线下教室中使用视频识别手段检测每个学生的肢体动作、通过语音分离与识别手段检测每个学生在课上是否在讲话以及讲话内容是否和课堂主题相关，借助姿态和语音检测的结果对整个教室中的每个学生进行学习专注度评估并实时展示给任课老师，系统的硬件组成简单、易于安装使用。