[发明专利]一种基于OpenPose的学生体态检测分析及效率评估方法

权利要求书

1.一种基于OpenPose的学生写作业时体态监测分析及效率评估方法。包括本体、电源以及各类传感器，该电源设于本体内，可充电使用，也可接电源。其特征在于，具备：

传感器系统，由传感器得到的数据交由我们基于OpenPose改进的算法进行数据处理。其特征在于，所述摄像传感器模块包括用于测量视觉范围内的人物及景物深度信息和轮廓信息的深度摄影单元和用于普通摄像的主摄像单元以及连接的体感识别单元，用于识别学生的体态和面部表情信息。还有红外测距传感器用于检测学生头部与桌子的距离，并且此智能机器人内部还包括用于数据处理的数据处理芯片。

2.一种基于OpenPose的改进算法，其特征在于：

1)将OpenPose的6个阶段缩减为3个阶段，只保留初始阶段和单个优化阶段。

2)用1×1和3×3的卷积核代替7×7的卷积核，不仅可以缓和降维，而且可以减少计算量。

3)因为本发明将传统OpenPose的6个阶段缩减至3个阶段，计算精度难免受到影响，所以本发明通过对池化过程的优化来防止过拟合的发生以及提高计算结果的精度。

3.根据权利要求1和权利要求2所述的一种基于OpenPose的学生写作业时体态监测分析及效率评估方法，其特征在于，第一步具体包括：

1)通过传感器采集学生的体态数据和面部表情数据。

2)将采集到的数据利用基于OpenPose改进的算法对学生的体态以及面部表情进行建模。对于学生坐姿的检测，我们采用人体骨骼关键点特征提取方法，人在坐着或者运动中骨骼关键点都会表现出不同的运动轨迹、肢体角度变化等。以此来分析学生的行为动作，目前检测人体骨骼关键点的自上而下的算法有PMPE、CFN、Mask RCNN、G-RMI。对于采集到的关键点之间关系的相关建模算法有Asssociative Embedding、Mid-Range offsets、PAF。此方法采用的建模方式也是基于上述的多种算法并进行改进的，以达到对学生骨骼关键点的准确采集及建模分析。

4.基于权利1和权利2的步骤，还包括神经网络模型训练模块，其特征在于：针对不同状态条件下的学生体态和面部表情的图片，比如打哈欠、伸懒腰、瞌睡点头、双眼无神不集中等特定姿势及表情，在网上下载寻找不同光照、角度、背景等条件下的人在状态不集中、人脸疲劳的图片。利用面部表情识别程序进行训练。通过视频图像内容进行标准化、统一化的标记。建立对比数据库。

5.基于权利4所述的神经网络训练模块，实现体态检测。其特征在于：对学生体态以及面部表情模型进行深度学习训练，通过对样本的模型训练测试，通过我们的基于OpenPose改进的算法对采集到的数据和建立的模型进行不同动作的分类及识别工作。将玩手机、趴着、仰着等动作训练成模板模型，得出可供对比的模型。将采集到的体态数据分析后与模板对比，根据对比相似度判断学生当前的坐姿状态，并设置一个阈值，超过阈值则语音提醒学生注意坐姿。

6.基于权利4所述的神经网络训练模块，实现学生精神状态检测。其特征在于：利用卷积神经网络，搭建合适的模型对学生的不同学习状态以及精神是否集中等特征进行训练学习，通过各参数的设置和调整，从学生面部数据中，实现对学生的学习状态和精神是否集中的判断。将采集到的面部表情分析后与经过训练得到的模板对比，根据对比相似度判断学生当前的精神状态。综上所述，用机器视觉技术，采用图像处理与卷积神经网络相结合的方法，通过传感器采集到的人脸图像数据进行采样，通过网络模型训练学习体态和面部疲劳表情特征，实现对学生状态的判断。

7.根据权利1所述一种基于OpenPose的学生写作业时体态监测分析及效率评估方法，其特征在于，该方法还包括总结反馈模块，根据学生在做作业的整个过程中的具体情况，最终形成学生在整个作业过程中的行为数据报告，其中专注学习的时间长度，坐姿标准的时间长度和走神的时间长度以及坐姿不标准的时间长度。