[发明专利]课堂前排就座率自动检测方法、系统及存储介质

权利要求书

1.一种课堂前排就座率自动检测方法，其特征在于，包括：

接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；

采用训练完成的U-Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；

对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；

获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；

确定前排区域后，采用人头检测算法，统计班级内总人数T以及前排区域内检测到的学生人数t，计算前排就座率，即为t/T。

2.根据权利要求1所述的课堂前排就座率自动检测方法，其特征在于，所述采用训练完成的U-Net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置，包括：

采用U-Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U-Net深度学习分割网络的训练。

3.根据权利要求2所述的课堂前排就座率自动检测方法，其特征在于，所述采用U-Net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成U-Net深度学习分割网络的训练，包括：

对数据进行标记，标记过程如下：

基于分割任务对座位区域进行了相应标记，座位区域像素标记类别为1，其他区域像素标记类别为0；

对于每张图片使用8个点，分别为点1、点2、点3、点4、点5、点6、点7、点8来标记座位区域角点位置，当座位区域完全在视频监控画面中时，座位区域的四个角点分别对应两个标记点，当座位区域的实际角点超越监控画面时，则标记角点标记在座位区域与监控画面边界的交点处；

数据标记完成后，开始训练U-Net深度学习分割网络，训练过程如下：

将U-Net深度学习分割网络通过反复迭代的方式从已标记数据中习得对未标记数据进行自动标记的能力。

4.根据权利要求3所述的课堂前排就座率自动检测方法，其特征在于，所述数据标记的顺序以左上角点起始按顺时针旋转。

5.根据权利要求3所述的课堂前排就座率自动检测方法，其特征在于，所述U-Net深度学习分割网络采用改进的U-Net深度学习分割网络，用于增加角点位置预测分支，使得单个网络模型能够同时作为区域分割或区域角点预测。

6.根据权利要求1所述的课堂前排就座率自动检测方法，其特征在于，所述对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃，包括：

在获取视频画面图像中的座位区域及座位区域角点位置后，分别点2和点3、点4和点5、点6和点7以及点8和点1连线并延长，四条线段的延长线交点即为根据改进的U-Net深度学习分割网络预测的角点确定的座位区域S1；

同时，UNet深度学习分割网络分割支路会预测监控画面中哪些像素位置属于座位区域，对这些像素进行膨胀腐蚀操作后，保留最大连通区域即得到由分割结果确定的座位区域S2；

如果网络的预测结果与实际偏差较小时，则S1、S2的面积及位置相近，计算S1与S2面积交集和S1与S2面积并集，再计算面积交集与面积并集相除的值与阈值0.65比较，若该值大于阈值，则接收预测结果，否则预测失败；

在预测结果接收后，令监控画面输入图像的四角坐标确定的区域为S3，根据S1与S3的四个对应角点的位置关系获得透视变化矩阵，将座位区域S1由不规则四边形矫正为规则长方形S4，方便后续的处理。

7.根据权利要求1所述的课堂前排就座率自动检测方法，其特征在于，所述人头检测算法具体为：

使用卷积神经网络将教室监控画面映射为维度固定的矩阵，通过对矩阵元素的解码与过滤，获得监控画面中学生人头的位置以及数量。