[发明专利]一种课堂实时监测与评估系统及其工作方法、创建方法

权利要求书

1.一种课堂实时监测与评估系统，其特征在于，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；

所述视频采集模块用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块；

所述数据调度模块包括至少一个第一存储器和一先入先出队列子模块，数据调度模块将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块进行图像分析；

所述图像分析模块包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层；

每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作；

所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层；

所述YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；

所述结果统计模块接收图像分析模块发送的分析结果，对其中的异常行为进行统计分析。

2.根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述第一存储器为同步动态随机存储器；

所述第二存储器为静态随机存取存储器。

3.根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述池化层为最大池化层。

4.根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述数据调度模块与图像分析模块之间设置有一图像调整模块，用以接收数据调度模块输出的图像，缩放后发送至两个第二存储器中供网络层调用。

5.根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述行为表情分析网络模型还具有一权重设置模块，用以设置网络层的卷积核权重。

6.一种基于权利要求1-5中任意一项所述的课堂实时监测与评估系统的工作方法，其特征在于，所述工作方法包括：

实时采集课堂上学生的行为和表情图像，将之导入课堂实时监测与评估系统进行课堂表现分析和统计，课堂表现包括异常行为和正常行为两种，以及

响应于同一时刻的异常行为的学生数量大于一设定数量阈值，发出警告。

7.根据权利要求6所述的课堂实时监测与评估方法，其特征在于，所述方法还包括：

对采集的每帧图像中的学生行为表情进行课堂表现评分，低于设定分值的课堂表现被定义成异常行为。

8.根据权利要求6所述的课堂实时监测与评估方法，其特征在于，所述方法还包括：

将一次课堂过程划分成若干个时间段t_i，统计每个时间段中采集的所有图像中的学生行为表情的课堂表现的评分a_i，i＝{1,2,…,n}，根据下述公式计算本次课堂的教学结果总评分S：

其中，ω_i是每个时间段评分在计算教学结果总评分时所占据的权重，

9.根据权利要求6所述的课堂实时监测与评估方法，其特征在于，所述方法还包括：

将所述结果统计模块的统计分析结果在课堂结束后发送至一指定客户端。

10.一种课堂实时监测与评估系统的创建方法，其特征在于，所述课堂实时监测与评估系统的创建方法包括：

S1：采集学生的行为和表情图像，叠加标准的人脸表情数据库以创建课堂学生行为表情数据库；

S2：对课堂学生行为表情数据库中的数据进行深度网络训练，经多次循环以获取最佳的网络参数；

S3：根据步骤S2中获取的网络参数以建立课堂实时监测与评估系统。