[发明专利]一种基于线下课堂监控的出勤率检测方法及系统

说明书

本发明公开了一种基于线下课堂监控的出勤率检测方法及系统，其中方法包括训练人头人体联合检测网络模型，采用加权联合损失对模型的权重进行优化；获取线下课堂监控视频，间隔一定帧数抽取关键帧图像；将关键帧图像输入至训练好的人头人体联合检测网络模型中从而得到人头候选框；采用后处理算法去除候选框中的重复框、背景框和不合理框，从而得到当前关键帧中包含的人数；将关键帧中检测到的人数除以上课应到人数从而获得此关键帧对应的出勤率。该方法可得到出勤人数，进而得到此关键帧对应的出勤率，这种检测方法准确性、实时性、自动化程度高，可以帮助管理者快速了解课堂的出勤率实时分布情况。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于线下课堂监控的出勤率检测方法及系统。

背景技术

线下课堂质量评估的指标有很多种类，例如包括出勤率、抬头率、前排就坐率、异常行为检测等，其中，出勤率是非常重要的一项指标，出勤率的高低在某种程度上代表着学生对课堂的积极性、感兴趣程度，同时也可以作为评价教师水平的重要参考指数。目前，常用的出勤率统计方法有很多，但都存在着一定的弊端，例如，线下点名会占用上课时间，人脸考勤机、指纹打卡机等需要额外预算购入设备，微信小程序打卡可能存在代签到、拍照远程签到的情况。这些统计一般仅在课前进行，当上课期间学生早退则无法检测出来，不能动态、实时地获得出勤率情况。现有技术中提出了基于活体识别、图像分析的出勤率检测方法，这些方法虽然能够对课堂视频进行自动化统计，但需要设置手动提取特征、多个区域检测等前置模块进行串联，前置模块的准确性对后续检测影响很大，使得方法复杂，无法保证检测效率。

发明内容

根据现有技术存在的问题，本发明公开了一种基于线下课堂监控的出勤率检测方法，具体包括如下步骤：

训练人头人体联合检测网络模型，采用加权联合损失对模型的权重进行优化；

获取线下课堂监控视频，间隔一定帧数抽取关键帧图像；

将关键帧图像输入至训练好的人头人体联合检测网络模型中从而得到人头候选框；

采用后处理算法去除候选框中的重复框、背景框和不合理框，从而得到当前关键帧中包含的人数；

将关键帧中检测到的人数除以上课应到人数从而获得此关键帧对应的出勤率。

进一步的，在训练人头人体联合检测网络模型时：

根据人头、人体上半身同时出现并成一定比例原理，根据每个人头框自动成比例生成相应的人体框从而获得带有人头框、人体框标注的数据集，并将该数据集按比例分为训练集和验证集；

建立人头人体联合检测网络模型，该模型包括骨干网络和FPN模块，其中骨干网络用于提取不同分辨率下的特征响应图，包括一系列连续的CPM模块和CBL模块，所述FPN模块对特征响应图进行上采样和加和处理，

将训练集输入人头人体联合检测网络模型中，提取不同分辨率的特征信息并进行融合从而输出人头框、人体框的候选框坐标；

将人头框、人体框的实际坐标与模型预测出的候选框进行对比获得加权联合损失，基于加权联合损失对模型的权重进行优化。

进一步的，采用加权联合损失对人头人体联合检测网络模型的权重进行优化时，其中加权联合损失表示为：

其中，i代表第i个框，m的取值为0，1，分别代表人头、人体，p为候选框的类别概率，t为候选框的坐标信息；

人头、人体的损失计算公式如下：

其中，L_c是分类的对数损失，L_r是坐标的均方误差，p*，t*分别表示真实标签的类别概率、坐标信息，λ_m、α_m分别表示对应的权重。