[发明专利]一种基于姿态识别的学习效率监测与作业审查方法

说明书

本发明公开了一种基于姿态识别的学习效率监测与作业审查方法，包括以下步骤：第一步、收集学生做作业时的面部表情以及肢体动作的数据；第二步、进行手部、脸部等人体各个姿态的关键点识别检测；第三步、进行模型训练，将学生的一些肢体动作、面部表情等具体的动作训练到模型里；第四步、在线实时监测，通过视频数据分析的结果与训练出来的模型进行对比，判断学生的学习状态以及坐姿是否标准等并给出相应的语音提示；第五步、学生写完作业后，通过与题库的数据库连接，对学生所作作业的正确率、学习状态等做出一个判断，并根据学生的学习规律以及经常犯错的题型，为孩子定制个性化的学习计划。本发明通过利用姿态识别技术来对学生的学习效率进行实时监测，该方法能够让家长更便捷地了解学生在做作业时的学习状态，提高了教育信息化管理程度。

技术领域

本发明属于人工智能机器人技术领域，尤其涉及一种基于姿态识别的学习 效率监测与作业审查方法。

背景技术

目前，随着移动互联网的发展和智能终端的普及，传统的在普通教室教学 的方式已经满足不了老师与家长的需求，家长希望能了解子女在课堂的学习效 率，但是如果每个家长都通过与老师沟通的方式来获取学生信息，这就会浪费 大量的时间。随着计算机视觉与人工智能技术的发展与进步，越来越多的事件 可以通过视频监控来进行监测与分析，例如人脸识别，身份认证等。同样的可 以使用智能终端产品对学生上课时的姿态动作进行监测与分析，通过获取学生 的肩膀、手指、手腕、脖子、头、眼睛、嘴巴等动作，来分析学生的心理、精 神、学习状态，对当前学生的学习效率做一个评估，判断学生是否专注学习时 间过长，是否产生疲劳等。而且现代社会父母工作压力大，回家后还需要辅导 孩子的作业，这无疑会更加加重父母的压力，有些家长由于没有受过良好的教 育，在辅导孩子作业方面会存在非常大的困难。

发明内容

本发明的目的在于提出一种基于姿态识别的学习效率监测与作业审查方法。 该方法能够让家长更快更便捷的了解学生在做作业时的学习状态，提高了教育 信息化管理程度。主要包括：

1)通过终端设备上的摄像头装置实时采集学生在做作业时的面部表情以及 相关的肢体动作等数据。

2)采集的数据主要包括肩膀、脖子、头、肘关节、手腕、手指以及眼睛、 鼻子、嘴巴等面部表情。

3)利用分析机对采集到的图像数据进行分析，获取学生位置以及各种数据 信息，使用OpenPose对学生的姿态动作进行识别，进而使用CNN来进行模型 的训练与分析。

4)同时实时检测学生做作业时的坐姿，对于检测到的不健康的姿势及时提 醒，还可以提示学生专注学习时间太长，提示学生进行适当休息，保证健康。

5)通过采集到的各类数据分析当前学生的学习状态，是否走神、精神是否 集中等，进行学习状态检测和情感行为识别，最终形成学生在整个作业过程中 的行为数据报告。

6)通过与学生所作测试题的数据库相连，判断学生答题效果并给出错题详 解，进一步提高学习效率。

7)通过综合分析学生每日的学习情况，为学生规划下一次的学习知识与学 习强度，制订适合学生的个性化学习计划。

本方案主要采用OpenPose来进行学生的姿态监测，OpenPose采用自下而 上的人体骨骼关键点检测方法，能够对面部关键点、人体骨骼关键点、手部关 键点等进行识别估计，是首个基于深度学习的实时性姿态识别模型，OpenPose 模型通过VGG-19卷积神经网络架构训练图像获取图像特征，然后将图像特征 分为两个分支进行两个阶段的迭代训练。主要模块包括数据获取模块、数据训 练模块、行为识别模块、数据分析模块。

为了实现上述目的，本发明采用如下技术方案：

基于姿态识别的学习效率监测与作业审查方法，包括如下步骤：