[发明专利]线下课堂学生课堂行为智能识别和认知状态关联方法

权利要求书

1.线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于，包括如下步骤：

步骤1，学生课堂行为智能识别；首先利用智慧教室课堂影像数据和目标标注工具构建学生行为分类数据集，并构建基于目标识别算法Faster R-CNN和残差网络Resnet50相结合的神经网络；利用神经网络对学生课堂行为数据集中的课堂影像中的目标特征，最后借助训练好的模型在线下教室课堂影像中精准地预测出学生目标框与行为类别；

步骤2，学生目标跟踪与重识别；在单帧影像学生课堂行为智能识别的基础上，实现多帧影像间学生目标的跟踪与重识别，按时间序列输出每个学生的课堂行为序列特征，以单个学生在整个课堂期间的行为序列特征为输出，输出的信息包括学生名、时间、对应时间的位置、对应时间的行为；

步骤3，学生认知状态评估；首先通过授课内容事先设计前测和后测，然后在真实课堂场景获得学习者针对知识点的前后测数据，最后分粗颗粒和细颗粒两个评价维度完成对学习者认知状态的评测；其中，对每个知识点的掌握程度的评价为细颗粒度评价，通过知识点对应答题进行一一对应评估，对学生状态给出总体的数字评价为粗颗粒度评价；通过细颗粒度和粗颗粒度的评价，对学生的学习认知状态进行量化，将学生的学习从宏观概括和微观具体层面进行评估；

步骤4，学生行为与认知状态个性化关联；在学生行为智能识别与认知状态评估的基础上，从粗颗粒行为与认知关联、细颗粒行为与认知关联、个例学生行为与认知关联三个角度进行个性化关联分析，通过可视化处理，得到行为与认知之间的关联，并通过计算皮尔森相关系数，分析行为与认知之间的相关程度。

2.如权利要求1所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：步骤1的具体实现方式如下，

步骤1.1，数据集制作，梳理并确定学生课堂行为类别，借助标注工具，在抽取的视频帧图像上标注学生目标框和行为类别，每个标签记录目标框上四个顶点的位置坐标以及所属类别，得到与每张课堂影像一一对应的VOC标准标注xml文件，以此构建课堂行为分类数据集；

步骤1.2，构建基于目标识别网络和行为分类网络相结合的课堂行为智能识别神经网络，将任务分为学生目标区域检测和行为类别分类两个步骤，减少因学生课堂行为间区分难度大带来的漏检目标过多的问题；其中目标识别网络包括特征提取层、区域建议层、兴趣池化层、边框回归分类层，共4个部分；

步骤1.3，将标注好的课堂行为分类数据集作为神经网络的训练集，采用制作的样本数据集训练步骤1.2的课堂行为智能识别神经网络，迭代反复地输入到神经网络训练并直到收敛；对于待检测的学生课堂影像，加载训练好的神经网络模型参数，得到检测结果，用目标框框选出学生对象并得到该学生的行为类别。