[发明专利]基于时空注意力网络的在线学习参与度评估方法及评估系统、设备、存储介质

说明书

本发明涉及基于时空注意力网络的在线学习参与度评估方法及评估系统、设备、存储介质，该评估方法包括：对视频片段依次进行预处理、特征提取和变换；通过空间注意力模块的输出M_t；将M_t输入到两层Bi‑LSTM模型，得到隐藏状态利用时间注意力模块，得到隐藏状态的权重β_t；根据权值β_t调整输入的隐藏状态输出隐藏状态最后经过激活函数得到学习参与度评估结果Y_T。该方法既考虑该特征的空间信息的显著性，同时考虑该特征在时间序列上的显著性，并且能够融合多类输入特征，提高评估的准确性。

技术领域

本发明涉及基于时空注意力网络的在线学习参与度评估方法及评估系统、设备、存储介质，属于人工智能技术领域。

背景技术

随着数字媒体与网络技术的发展，在线教育正逐步发展成为一种新型的教育模式。与传统教育模式相比，在线教育能够突破时间、空间的限制，拓宽学生获取信息的渠道。但由于学生在学习过程中缺乏与教师的直接沟通和反馈，导致极低的完成率。因此及时获取学生的学习状态并做出相应调整，是提高网络教育质量的关键。

学习参与度是体现学生学习状况的重要指标，在学习过程中起着至关重要的作用。随着慕课、公开课等一类网络课程的大量出现，学习过程中学生参与度的自动评估问题受到研究人员的广泛关注。实时获取学生的学习参与度，并且及时反馈给教师，教师根据参与度的情况做出相应调整，进而影响学生的学习过程，能够一定程度解决在线教育过程中存在的问题。

早期学习参与度的研究主要是基于简单学习行为的统计方法，例如分析在线时长、阅读数量、点击次数等学习行为。这是由于早期时候数据采集能力以及计算能力的限制，研究只能在规模较小的数据上进行，并且只能处理一些简单的特征。尽管受试者在学习过程的视频数据蕴含着更丰富的行为与情感信息，但是早期基于特征点的方法很难提取此类信息，研究工作进展有限。随着深度学习技术的出现与发展，能够从大量视频中直接提取受试者复杂的学习行为以及面部表情信息，进而评估其行为参与度与情感参与度，最终得到学习参与度。该方法是目前主流的参与度研究方法，称之为视觉方法。两类方法相比，统计方法有很强的主观性，评估性能的好坏依赖于衡量指标。视觉方法直接从分析受试者入手，不受学习内容的约束，因此具有更强的普适性。如中国专利文献CN111832669A公开了学习参与度识别网络模型的建立方法及装置，对获取的多个视频样本进行预处理，得到融合特征；根据所述视频样本的融合特征，构建学习参与度识别网络模型训练用的最小批；依据所述最小批中视频样本对的嵌入向量距离与所述最小批中视频样本对的参与度标签距离一致性有序的原则，构造有序度量损失函数，其中，所述嵌入向量由所述学习参与度识别网络模型根据视频样本的融合特征计算得到；根据所述有序度量损失函数，优化所述学习参与度识别网络模型中的参数。但是，目前的视觉方法只是将多类特征进行简单的拼接，没有充分挖掘特征内以及特征之间的显著性信息。

同时，传统的双向长短期记忆网络(Bi-LSTM)模型只有一个输入信息，结果好坏很大程度取决于输入的情况，Bi-LSTM模型缺乏外部调控的问题。

发明内容

针对现有技术的不足，本发明提供了基于时空注意力网络的在线学习参与度评估方法及评估系统，该方法提出了空间注意力模块与时间注意力模块，对于每一帧特征，既考虑该特征的空间信息的显著性，同时考虑该特征在时间序列上的显著性，并且能够融合多类输入特征，提高评估的准确性。本发明提出的基于时间注意力的双向自适应长短期记忆网络,能够根据帧特征的时间上的显著性，调节双向长短期记忆网络的输入，从而进一步提高准确性。

本发明还提供了一种计算机设备和存储介质。

术语解释：

1.Bi-aLSTM：双向自适应长短期记忆网络，是在Bi-LSTM模型的基础上，构建了一个自适应模块，能够基于获取的权重信息，自动调整Bi-LSTM模型的输入。