[发明专利]线下课堂学生课堂行为智能识别和认知状态关联方法

说明书

本发明设计了一种线下课堂学生课堂行为智能识别和认知状态关联方法，该方法通过改进的目标提取算法和目标重识别算法自动分析课堂录播视频中的学生课堂行为，通过设计合适的课堂前测和后测准确评价学生认知状态，最后通过时间序列建模学生课堂行为和认知状态个性化关联模型，该方法可以显著提升课堂视频数据的处理效率，实现跨模态数据间的个性化关联和分析，在人工智能教育应用领域具有广阔的应用前景。

技术领域

本发明设计了一种线下课堂学生课堂行为智能识别和认知状态关联方法，该方法通过改进的目标提取算法和目标重识别算法自动分析课堂录播视频中的学生课堂行为，通过设计合适的课堂前测和后测准确评价学生认知状态，最后通过时间序列建模学生课堂行为和认知状态个性化关联模型，该方法可以显著提升课堂视频数据的处理效率，实现跨模态数据间的个性化关联和分析，在人工智能教育应用领域具有广阔的应用前景。

背景技术

随着人工智能技术的发展，将人工智能技术应用于教育和教学过程，促进我国教育事业的发展，提升教学质量已成为教育领域研究的热点问题。在教育信息化2.0时代，教育信息化已然步入了新的发展进程，移动互联网、大数据、人工智能等新兴教育技术手段的大规模应用正在积极推进智慧校园的建立和完善。在教育信息化的众多应用中，利用人工智能技术识别学生课堂行为，通过分析学生课堂行为与学生学业增益的关联，个性化改善教学，是一个值得研究的课题。

当前，我国大多数大学、中小学已经在教室中安装了课堂录播设备，可以对教学过程进行完整的记录，也可以用于后续的研究分析。但在目前的实际教学实践中，一方面由于缺乏专业的数据处理、挖掘和分析手段，只是通过人工手段检测学生的出勤、上课举手、睡觉等简单行为，或者通过课后查看录播视频的方式人工地分析学生课堂行为，录播视频这一宝贵资源没有得到充分的利用；另一方面，虽然不少学者通过线下课堂进行过程性评价来评估学生认知状态，但由于认知状态评估人工参与度大，只能完成对课堂教学的一小部分评价，且没有将认知状态与学生课堂行为个性化关联，难以对高校的所有课堂情境做出科学的评价。

目前，学生学习行为的研究大多通过人工随堂听课、问卷调查或量表等方法进行实证研究，该方法实时性差、人工作业量大。随着深度学习技术的发展，一些学者开始用目标检测算法来识别学生行为，但由于学生目标多、相互遮挡严重、类别不均衡，学生课堂行为间区分难度大等因素，复杂课堂场景下的学生行为识别依然面临挑战，同时由于学生行为和认知状态之间缺乏直接关联，如何利用学生课堂行为来评估认知状态是一个亟待解决的难题。

发明内容

针对上述问题，本发明依托大量可获取的教学视频，研究线下课堂学生课堂行为和认知状态个性化关联方法。首先结合具体教学场景视频数据，探究基于深度学习技术的学生课堂行为自动识别，重点解决场景内容复杂多样的线下课堂学生识别难题；其次设计科学合理的认知状态评测方案，实现学生认知状态的精确评估；最后依托时间序列模型关联学生课堂行为和认知状态，构建学生课堂学习的个性化特征，帮助教师及时掌握学生课堂状态，有效提高课堂教学质量。

本发明针对人工智能教育应用领域中的学生课堂行为识别智能化程度不足、课堂行为与认知状态缺乏关联研究等问题，提出了一种线下课堂学生课堂行为智能识别和认知状态关联方法，并基于高校实际课堂对该方法进行了评估。实验表明：该方法中的学生课堂行为智能识别算法可以有效解决复杂教学场景下的学生课堂行为识别问题，所提的课堂行为和认知状态个性化关联方法可以获取学生个性化特征，有助于教师及时掌握学生状态，提高教学质量。

本发明包含学生课堂行为智能识别、学生目标跟踪与重识别、学生认知状态评估、学生行为与认知状态个性化关联四个步骤，具体如下：

步骤1，学生课堂行为智能识别。首先利用智慧教室课堂影像数据和目标标注工具构建学生行为分类数据集；并构建基于目标识别算法Faster R-CNN和残差网络Resnet50相结合的神经网络；利用学生课堂行为数据集使网络学习课堂影像中的目标特征，最后借助训练好的模型在类别不均衡、学生目标多、相互遮掩严重的线下教室课堂影像中精准地预测出学生目标框与行为类别。