[发明专利]基于人工智能教育平台的专注度识别方法

权利要求书

1.一种基于人工智能教育平台的专注度识别方法，其特征在于，包括：

通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧；

采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素值的区域，并检测所述多个输入视频帧中的听课用户的人脸区域；

通过计算该组人脸图像窗口的像素平均图像来建立听课用户的人脸外观模型；

通过生成多个输入视频帧中的听课用户的路径，单独跟踪所检测到的人脸并保持分配给所述听课用户的身份，其中当检测到该听课用户的人脸时，生成该听课用户的路径，将检测到的人脸分配给所生成的路径；

估计检测到的人脸方向以计算专注度；通过检测具有正面姿势的人脸的数量来检测在显示内容的方向上已注视预定义时间长度的听课用户；

通过计算听课用户注视显示内容的时间来计算每个听课用户的专注度；

处理视频帧数据，以检测听课用户在视频帧序列中的肢体行为；将观察到的肢体行为与多个情绪类型标签之一相关联，其中每个类型标签对应于相应的情绪反馈；使用从视频帧数据所提取的特征来训练分类器，利用所述分类器来检测听课用户在视频帧序列中的情绪反馈。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过跟踪显示内容周围的多个用户的多个行为来确定所述显示内容的潜在听课用户。

3.根据权利要求1所述的方法，其特征在于，每个情绪反馈是表达所述听课用户的情绪状态的预测人脸表情，并且该方法还包括，捕获听课用户的第二视频帧数据；将从所述第二视频帧数据提取的特征应用于所述分类器，以确定所述听课用户的情绪状态。

4.根据权利要求1所述的方法，所述检测所述多个输入视频帧中的听课用户的人脸区域，进一步包括：

将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域；应用基于可变形部分的模型来确定人脸区域中对应于听课用户的人脸标志的ROI区域；提取ROI区域中的特征；将所述特征与情绪类型相关联；并使用关联结果训练分类器。

5.根据权利要求4所述的方法，进一步包括：

从所提取的特征生成特征直方图；在多个视频帧中对所述ROI区域执行坐标变换；

将所提取的特征进行串联以生成特征描述符；

使用最终特征描述符和所述特征直方图来训练所述分类器。