[发明专利]课堂前排就座率自动检测方法、系统及存储介质

说明书

本发明提供一种课堂前排就座率自动检测方法、系统及存储介质，该方法，包括：接收教室监控的视频画面图像，将视频画面图像拆分成图像序列；采用训练完成的U‑Net深度学习分割网络对拆分后的图像序列进行预测，获取座位区域及座位区域角点位置；对U‑Net深度学习分割网络预测的结果进行后处理，并检验预测结果是否可信，若检测结果可信，则将角点坐标确定的座位区域四边形透视变换矫正为规则四边形区域；若检测结果不可信，则放弃；获得规则四边形区域后，根据选择的位置阈值确定前排区域；确定前排区域后，采用人头检测算法，统计班级内总人数T以及前排区域内检测到的学生人数t，计算前排就座率，即为t/T。解决了前排就座率的自动计算问题。

技术领域

本发明涉及AI+教育技术领域，具体而言，尤其涉及一种课堂前排就座率自动检测方法、系统及存储介质。

背景技术

现有技术在统计教室前排就座率时，多采用教务老师观看录像，进行人工统计的方式，费时费力；此外，也有在教室座椅上安装传感器实现前排就座率统计的方式，该方法准确度高，但是硬件成本高，不利于实际应用。

发明内容

根据上述提出的如何实现前排就座率的自动计算的技术问题，提供一种课堂前排就座率自动检测方法、系统及存储介质。本发明主要利用将AI技术与教育理论相结合，提出利用视觉人工智能算法实现对教室前排区域的检测，结合人头检测算法完成前排就坐率的自动计算。

本发明采用的技术手段如下：

一种课堂前排就座率自动检测方法，包括：

接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；

采用训练完成的U-Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；

对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；

获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；

确定前排区域后，采用人头检测算法，统计班级内总人数T以及前排区域内检测到的学生人数t，计算前排就座率，即为t/T。

进一步地，所述采用训练完成的U-Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置，包括：

采用U-Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U-Net深度学习分割网络的训练。

进一步地，所述采用U-Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U-Net深度学习分割网络的训练，包括：

对数据进行标记，标记过程如下：

基于分割任务对座位区域进行了相应标记，座位区域像素标记类别为1，其他区域像素标记类别为0；

对于每张图片使用8个点，分别为点1、点2、点3、点4、点5、点6、点7、点8来标记座位区域角点位置，当座位区域完全在视频监控画面中时，座位区域的四个角点分别对应两个标记点，当座位区域的实际角点超越监控画面时，则标记角点标记在座位区域与监控画面边界的交点处；

数据标记完成后，开始训练U-Net深度学习分割网络，训练过程如下：

将U-Net深度学习分割网络通过反复迭代的方式从已标记数据中习得对未标记数据进行自动标记的能力。

进一步地，所述数据标记的顺序以左上角点起始按顺时针旋转。