[发明专利]面向在线课堂的学习参与度智能评估方法和装置

说明书

本申请提出了一种面向在线课堂的学习参与度智能评估方法和装置，该方法包括：获取受教育者的在线学习数据，并对在线学习数据进行预处理；通过两分支网络学习预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对两分支网络输出的特征进行提取，获得每个图像数据的特征向量；通过聚合模块对每个图像数据的特征向量进行加权处理；基于每个图像数据对应的特征的相似性构造困难四元组，并通过困难四元组的损失函数对两分支网络的网络参数进行优化；将受教育者的实时数据输入至优化后的两分支网络，获取参与度识别结果。该方法可在参与度识别任务中样本分布不均衡的状况下，显著提升网络模型识别学习参与度的准确性和鲁棒性。

技术领域

本申请涉及计算机视觉和智能教育技术领域，尤其涉及一种面向在线课堂的学习参与度智能评估方法和装置。

背景技术

随着网络技术的发展，在线教育应运而生。与传统教育不同的是，在线教育突破了时间和空间的束缚，在信息获取、信息存储、信息传递和信息共享等方面更具便捷性和灵活性。可以说，数字化教育的到来，给人们的学习方式带来了巨大变革。然而，目前的在线教育也存在包括学习反馈不及时等问题，需要相应的解决方案和改进措施。在传统的课堂中，通过学生的面部表情、身体姿态以及课堂测验等方式，可以反映出学生的课堂参与度，同时让教师及时了解学生对教学知识的掌握程度。而由于在线教育环境中，教师和学生缺乏面对面的沟通，学习反馈不及时，学习效果难以提升。对于教师而言，课后无法及时进行教学知识点的梳理总结，缺乏必要的教学反思，不能进一步有效调整授课进度。因此，研究一种在线课堂的学习参与度识别方法，对提高学生学习效率和教师教学质量具有重大意义。

学习参与度自动识别是智能教育和计算机视觉交叉领域的一个新颖研究课题。相关技术中，学习参与度的评估方式大致分为两类：第一类是自我汇报，采用调查问卷的方式，通过设置一些题目让学生作答，依据学生的回答来判断参与度。然而由于学生具有主观意愿并且存在记忆效应的偏差，调查问卷的结果可能会与学生实际的学习参与度存在出入；第二类是外部识别，包括基于传感器测量方式的识别和基于计算机视觉的自动参与度识别方式。前者是通过传感器测量神经或者生理数据来判断，比如，脑电图，血压，心率等等。但是侵入式设备会影响学生的听课状态，以及此类设备难以在大规模研究中使用，所以现在国内外主流的研究方式是借助安装在电脑或者相应环境中的摄像头来收集实验数据，基于计算机视觉，利用神经网络自动分析学生的面部，身体姿态等特征，在无干扰的情况下，自动识别学生的课堂学习参与度。比如，Whitehil等人在2014年的工作中，分别提取BoxFilters和GaborEnergyFilters低级特征，然后用GentleBoost和SVM分类器进行分类，同时使用CERT开源工具提取3D头部姿态和20个面部活动单元等基于面部表情分析的高级特征，然后用多项逻辑回归（MLR）的方法进行训练；2019年Shi等人收集了82名学生参与MOOC学习的视频数据，分别采用不同特征提取技术和SVM分类器的组合进行参与度识别；2020年Zhu等人采用多特征工程方法提取CNN特征，利用基于注意力的门控循环单元来捕捉长期视频序列的时间特征，应用多速率和多实例处理技术相结合的方法以达到更好的识别准确率。

另外，在线学习视频的参与度标签由学生线上学习的参与度决定，包括4个等级：极低参与度、低参与度、高参与度和极高参与度，它们的标签值分别对应1至4。等级的高低反映了学生参与度情况，等级1表示学生完全没有参与进任务中，具体可表现为眼睛经常看向屏幕外或呈半睁半闭状态，经常采取不必要的行动等；等级4表示学生参与度非常高，具体可表现为眼睛大部分时间聚焦在屏幕上，身体姿势直立，没有不必要的行动等。