[发明专利]一种基于OpenPose的学生体态检测分析及效率评估方法

说明书

本发明提出了一种基于OpenPose的学生写作业时体态监测分析及效率评估方法。包括：1)通过实时监控获取学生在做作业时的肢体动作及面部表情数据。2)采集的数据包括肩膀、脖子、头、肘关节、手腕、手指以及眼睛、鼻子、嘴巴等面部表情。3)通过OpenPose人体姿态识别和深度学习对学生动作进行分析。4)在OpenPose识别学生动作时还可以监测学生与书桌的距离，并提示学生注意坐姿，还可以提示学生专注学习时间太长，提示学生进行适当休息，保证健康。5)通过采集到的各类数据分析当前学生的学习状态，是否走神、精神是否集中等。

技术领域

本发明属于人工智能机器人技术领域，尤其涉及一种基于OpenPose的学生体态监测分析及效率评估方法。

背景技术

人工智能机器人是科学技术共同发展的结果，人工智能机器人可以通过深度学习和各种传感器获得与人或其他动物相似的部分能力，如感知能力、规划能力、数据分析能力以及智能语音对话能力。很多的孩子不能自觉地对自己的学习行为进行把控，只能依赖父母的监督和辅导。但现代社会父母工作压力大，回家后还需要辅导孩子做作业，更加加重了父母的压力，不仅耗费了家长的精力，而且孩子也没有得到学习上的成效。而且非常多的农村家庭，孩子父母外出打工，由爷爷奶奶照顾孩子。老人行动不便，照顾孩子的饮食起居已经非常不容易了，还需要监督和辅导孩子写作业。

针对以上问题的分析，OpenPose是一个基于卷积神经网络(CNN)和监督学习(SL)并以Caffe为框架开发的一个开源库，可以实现人体动作、面部表情、手指运动等姿态估计。本发明提出了一种基于OpenPose的学生体态监测分析及效率评估方法，用以解决上述问题。

发明内容

本发明的目的在于提出了一种基于OpenPose的学生体态监测分析及效率评估方法，以解决包括：1)通过实时监控获取学生在做作业时的肢体动作及面部表情数据。2)采集的数据包括肩膀、脖子、头、肘关节、手腕、手指以及眼睛、鼻子、嘴巴等面部表情。3)通过OpenPose人体姿态识别和深度学习对学生动作进行分析。4)在OpenPose识别学生动作时还可以监测学生与书桌的距离，对于检测到的不健康的姿势及时提醒，还可以提示学生专注学习时间太长，提示学生进行适当休息，保证健康。5)通过采集到的各类数据分析当前学生的学习状态，是否走神、精神是否集中等。最终形成孩子在整个作业过程中的行为数据报告。为实现上述目的，本发明采用如下技术方案：OpenPose是一种自下而上的人体姿态估计方法，先检测中一幅图像中所有的关节点坐标，再进行坐标聚类，形成与人对应的关键点坐标，经典OpenPose框架中多人姿态检测的过程中涉及到6个stage，每一个stage都分为两支，一个用来预测heatmap，一个用来预测paf。每一个stage均以前一阶段的stage的预测和从原图提取的特征作为输出，OpenPose框架主要应用于多人姿势检测，本发明针对的只是学生单人在学习时的姿态检测，场景单一，用于单人检测时计算复杂度较小，没有多人的复杂环境。所以有理由针对本发明的应用场景，对传统的OpenPose提出以下改进：

1、将OpenPose的6个阶段缩减为3个阶段，只保留初始阶段和单个优化阶段。

2、用1×1和3×3的卷积核代替7×7的卷积核，不仅可以缓和降维，而且可以减少计算量。

3、因为本发明将传统OpenPose的6个阶段缩减至3个阶段，计算精度难免受到影响，所以本发明通过对池化过程的优化来防止过拟合的发生以及提高计算结果的精度。

运用计算机视觉技术对写作业中学生的行为与面部行为监测进行及时的获取和分析，利用OpenPose将提取到的特征向量通过支持向量机进行分类训练生成模型，进行了详细的需求分析，分为了数据训练模块、行为获取模块、行为判别模块、数据分析模块以及数据库分别实现不同的功能。其中包括以下步骤：