[发明专利]一种基于跨时空图表征的学习者情感分析方法及装置

说明书

本发明公开了一种基于跨时空图表征的学习者情感分析方法及装置，方法包括：将输入的若干学习者表情视频帧划分为若干个同等大小且不重叠的子分块，并将子分块进行图结点特征嵌入处理，得到图结点的初始特征；构建每个子分块的跨时空最近邻图结构；将学习者情感跨时空图表征模块的输出情感时空图特征进行分类，预测输入的学习者表情视频帧的情感类别；本发明能够在不使用额外辅助信息的情形下对学习者表情视频帧进行局部区域划分，使得跨时空图卷积网络能够直接处理学习者表情视频帧数据，另外，本发明通过跨时空图构建和具有关联感知的图卷积算子来获取学习者表情不同区域、不同视频帧之间的时空关联图表征，可广泛应用于计算机技术领域。

技术领域

本发明涉及计算机技术领域，尤其是一种基于跨时空图表征的学习者情感分析方法及装置。

背景技术

学习者的情感状态是在学习认知活动过程中所产生的内心真实体验和对应的外部表现，是人机协同下教育教学提质增效的关键因素之一。在人-机-物深度融合的现代教育场景下对学习者的情感进行精准分析，能够为教师及时获取学习者的学习状态提供准确数据，进而促进教师课堂教学策略的改进，驱动高质量课堂教学创新。

目前针对学习者表情的情感分析技术主要包括基于卷积神经网络(CNN)和基于Transformer的两种深度神经网络模型。其中基于CNN的方法是当前情感分析应用最广泛的框架，典型代表性方法有DLP-CNN、RAN、FAN和MA-Net等，然而这些基于CNN的情感分析方法由于卷积算子内在的感受野范围有限等缺陷，因而导致分析模型无法获取面部表情各局部区域之间的结构化关联关系，进而影响对学习者情绪的预测准确性。针对基于CNN的情感分析方法所存在的问题，基于Transformer的情感分析方法则通过自注意力机制获取学习者面部不同区域的关系特征，典型代表性方法有FER-VT、Former-DFER等。然而，基于Transformer的情感分析方法是需要计算所有局部区域之间的关系权重，因此模型会获得冗余或噪声关系特征，此外还会导致算法的计算量会随着局部区域数目的增长而呈指数级上升。总体而言，现有无论是基于CNN还是Transformer的学习者情感分析技术都受限于其内在机制，难以面向学习者情感建模细粒度的跨时空结构化表征，进而难以适应实际的线上或线下教学场景，相关技术问题亟待解决。

发明内容

有鉴于此，本发明实施例提供一种基于跨时空图表征的学习者情感分析方法及装置，能够有效提升学习者情感分析的预测准确率。

本发明实施例的一方面提供了一种基于跨时空图表征的学习者情感分析方法，包括：

将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，并将所述子分块进行图结点特征嵌入处理，得到图结点的初始特征；

根据所述图结点的初始特征，构建每个子分块的时空最近邻图；

根据所述跨时空最近邻图，将所述学习者情感跨时空图表征的输出学习者表情图表征进行分类，预测输入的学习者表情视频帧的情感类别。

可选地，所述方法还包括：

通过终端摄像机等视觉感知设备获取学生的学习情境视频；

使用人脸目标检测器对含有学习者面部表情的原始视频帧进行人脸检测并执行人脸对齐操作；

将人脸对齐操作后的表情视频帧的分辨率进行缩放并统一设置宽高，得到学习者表情视频帧；

将所述学习者表情视频帧作为模型的输入数据。

可选地，所述将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，包括：

利用深度残差网络的第一个特征提取块对原始输入的学习者表情视频帧进行初步处理得到宽高分别为原始图像一半的第一特征图；

使用深度残差网络的第二个特征提取块提取第二阶段的第二特征图；