[发明专利]一种基于姿态识别的学习效率监测与作业审查方法

权利要求书

1.一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，包括如下步骤：

第一步、收集学生做作业时的面部表情以及肢体动作的数据。

第二步、进行手部、脸部等人体各个姿态的关键点识别检测。

第三步、进行模型训练，将学生的一些肢体动作、面部表情等具体的动作训练到模型里，采用机器学习的第三方模块sklearn，可以采用的算法有线性模型，knn，GBDT。

第四步、在线实时监测，通过视频数据分析的结果与训练出来的模型进行对比，判断学生的学习状态以及坐姿是否标准等并给出相应的语音提示。

第五步、学生写完作业后，通过与题库的数据库连接，对学生所作作业的正确率、学习状态等做出一个判断，并根据学生的学习规律以及经常犯错的题型，为孩子定制个性化的学习计划。

2.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第一步具体包括：

步骤S101：接通电源，打开终端设备。

步骤S102：通过设备上的摄像头等传感器捕捉2D图像，收集学生做作业时的面部表情以及肢体动作的数据。

3.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第二步具体包括：

步骤S201：读取视频数据，OpenPose的关键点检测器会识别并标记出身体特点的部位。

步骤S202：帮助身体跟踪算法了解不同角度下每个姿势的表现，识别各个关键点，比如手部关键点识别、脸部关键点识别。

步骤S203：利用OpenPose命令获取节点信息。

步骤S204：用python进行过滤分析，过滤掉平均置信度小的节点,置信度表示的是训练集图片中一点为关键点的概率，之后保存为json文件(读到python里面就是字典)。

4.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第三步具体包括：

步骤S301：下载训练OpenPose模型的相关项目代码。(https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation)。

步骤S302：将学生的一些肢体动作、面部表情等具体的动作作为数据集输入(数据集尽可能多一点)。

步骤S303：编译训练OpenPose模型所使用的caffe。

步骤S304：在training目录下运行genANNO.m将数据集中的原始图片信息由json转化为mat格式；运行genCOCOMask.m得到未标注的人的mask图片；运行genJSON.m文件得到存储了用于训练的信息的json文件；运行genLMDB.py文件得到训练用的lmdb格式数据集。

步骤S305：准备训练用的prototxt模型文件，进行模型训练。

5.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第四步具体包括：

步骤S401：终端设备实时获取学生做作业时的面部表情及体态动作。

步骤S402：将实时数据与训练好的模型相对比，分析学生此刻的姿态动作。

步骤S403：根据对学生做作业时的动作分析，判断学生的学习状态，并给出相应的语音提示。

6.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第五步具体包括：

步骤S501：收集学生的手写作业数据，通过点阵数码笔来实现。

步骤S502：获取到学生手写数据后，先通过图像处理技术将手写数据拆解成文本行，然后通过联机手写识别技术(CNN+BLSTM+CTC)来识别出每一行的文字。

步骤S503：识别出标准答案后，通过数学符号语言处理等算法，自动生成所有的同义表达式。将学生笔迹的最终答案，与标准答案的所有同义表达式进行匹配比较，找到结果一致的表达式。