[发明专利]一种基于跨时空图表征的学习者情感分析方法及装置

权利要求书

1.一种基于跨时空图表征的学习者情感分析方法，其特征在于，包括：

将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，并将所述子分块进行图结点特征嵌入处理，得到图结点的初始特征；

根据所述图结点的初始特征，构建每个子分块的跨时空最近邻图；

根据所述跨时空最近邻图，将所述学习者情感跨时空图表征的输出学习者表情图表征进行分类，预测输入的学习者表情视频帧的情感类别。

2.根据权利要求1所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述方法还包括：

通过视觉感知设备获取学生的学习情境视频；

使用人脸目标检测器对含有学习者面部表情的学习情境视频进行人脸检测并执行人脸对齐操作；

将人脸对齐操作后的表情视频帧的分辨率进行缩放并统一设置宽高，得到学习者表情视频帧；

将所述学习者表情视频帧作为模型的输入数据。

3.根据权利要求1所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，包括：

利用深度残差网络的第一个特征提取块对原始输入的学习者表情视频帧进行初步处理得到宽高分别为原始图像一半的第一特征图；

使用深度残差网络的第二个特征提取块提取第二阶段的第二特征图；

使用深度残差网络的第三个特征提取块提取第三阶段的第三特征图；

使用深度残差网络的第四个特征提取块提取第三阶段的第四特征图；

使用深度残差网络的第五个特征提取块提取第三阶段的第五特征图；

根据所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图、所述第五特征图确定图结点的初始特征。

4.根据权利要求3所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述将所述子分块进行图结点特征嵌入处理，得到图结点的初始特征，包括：

将所述第二特征图、所述第三特征图和所述第四特征图进行特征映射，统一变换到目标维度特征空间，并对所述第五特征图进行维度不变性特征线性变换；

将变换后的第二特征图、第三特征图、第四特征图和第五特征图进行拼接操作；

将拼接操作得到特征图输入到特征融合函数中，获取包含多尺度学习者表情特征信息的图结点的初始特征。

5.根据权利要求1所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述根据所述图结点的初始特征，构建每个子分块的跨时空最近邻图，包括：

在每一次为图结点构建跨时空最近邻图之前，对图结点的初始特征进行一次变换；

在执行关联感知时空图卷积操作之后再对所有图结点进行一次特征变换，得到特征向量集合作为图结点集合；

对于所述图结点集合中任意一层的图结点构建膨胀k近邻图；

将每个图结点作为一个局部最近邻图的中心点，对于任意一个局部最近邻图的中心结点，对该局部图进行时空图卷积运算；

通过关联感知图结点聚合函数，获取不同结点之间的关联关系特征；

将关联感知图结点聚合函数的输出作为图更新函数的输入，获取更新后的结点特征；

执行关联感知时空图卷积和图结点特征变换操作之后，采用多层感知机对更新后的所有图结点特征作特征映射处理，得到图结点特征集合，完成每个子分块的跨时空最近邻图的构建。

6.根据权利要求1所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述将所述学习者情感跨时空图表征的输出学习者表情跨时空图特征进行分类这一步骤中，分类表达式为：

其中，是分类器预测的学习者面部表情类别标签；表示第i个学习者表情视频帧的图表征；AvgPool为平均池化算子；池化后的学习者表情全局特征作为分类器的输入；Φ(·；Θ_Φ)为含可学习参数Θ_Φ的前馈神经网络；LogSoftmax为激活函数。