[发明专利]学习状态的监控方法、监控装置及存储介质

权利要求书

1.一种学习状态的监控方法，其特征在于，所述监控方法包括：

获取上课视频；

对所述上课视频进行人脸特征提取，获得人脸特征；

基于所述人脸特征对所述上课视频进行人脸分类，获得对应的人脸分类结果；

基于所述人脸分类结果对所述上课视频进行人脸手势识别，并基于人脸手势识别结果生成初步学生状态信息；

获取综合识别模型，基于所述综合识别模型对所述初步学生状态信息进行综合识别，获得学生状态识别结果；

所述获取综合识别模型，包括：

获取样本数据；

依次计算所述样本数据中每个样本的信息熵；

基于所述信息熵确定对应的信息增益；

基于所述信息增益创建多个决策随机模型；

基于所述多个决策随机模型生成综合识别模型；

所述对所述上课视频进行人脸特征提取，获得人脸特征，包括：

对所述上课视频进行预处理操作，获得预处理后图像；

所述对所述上课视频进行预处理操作，获得预处理后图像，包括：

按照预设频率对所述上课视频进行图像抽取，获得对应的图像集；

所述基于所述人脸分类结果对所述上课视频进行人脸手势识别，并基于人脸手势识别结果生成初步学生状态信息，包括：

基于所述人脸分类结果在所述预处理后图像中提取人脸图像；

按照预设筛选规则对所述人脸图像进行筛选，获得筛选后人脸图像；

对所述筛选后人脸图像进行特征提取，获得对应的特征提取信息；

基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别，获得人脸手势识别结果；

基于所述人脸手势识别结果生成初步学生状态信息；

所述人脸识别结果包括所述人脸特征的初始特征权重，所述按照预设筛选规则对所述人脸图像进行筛选，获得筛选后人脸图像，包括：

基于所述初始特征权重在所述人脸图像中获取权重最小的预设数量的图像作为所述筛选后人脸图像；

所述对所述筛选后人脸图像进行特征提取，获得对应的特征提取信息，包括：

对所述筛选后人脸图像进行格式转换，获得转换后图像；

基于预设肤色模型对所述筛选后人脸图像进行特征提取，获得初步特征信息；

计算确定所述筛选后人脸图像的中间参数值；

基于所述初步特征信息和所述中间参数值计算确定所述转换后图像的第一特征值和第二特征值；

基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息。

2.根据权利要求1所述的监控方法，其特征在于，所述对所述上课视频进行人脸特征提取，获得人脸特征，还包括：

获取预设人脸特征提取模型；

基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取，获得人脸特征。

3.根据权利要求2所述的监控方法，其特征在于，所述对所述上课视频进行预处理操作，获得预处理后图像，还包括：

对所述图像集中的每张图像进行裁剪，获得每张图像对应的预设数量的裁剪图，其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域；

分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集；

对所述目标图像集中的每张图像执行归一化处理，获得对应的第一处理后图像；

对所述第一处理后图像执行灰度化处理，获得第二处理后图像；

对所述第二处理后图像执行图像增强处理，获得预处理后图像。

4.根据权利要求2所述的监控方法，其特征在于，所述基于所述人脸特征对所述上课视频进行人脸分类，获得人脸分类结果，包括：

对所述人脸特征进行初始权重计算，获得对应的初始特征权重；

基于所述初始特征权重对所述人脸特征进行优化，获得优化后特征；

获取预设约束条件，基于所述预设约束条件对所述优化后特征进行约束操作，获得约束后特征；

对所述约束后特征执行人脸分类识别，获得对应的人脸分类结果。