[发明专利]基于多任务级联卷积神经网络的课堂点名系统

说明书

本发明方法是在高校课堂上基于多任务级联卷积神经网络的点名系统，采用卷积神经网络训练人脸样本生成人脸识别模型，利用生成的人脸识别模型计算班级所有学生的人脸特征距离，在利用SVM生成身份识别模型；通过摄像头拍摄课堂学生出勤图像，利用人脸识别功能，识别图像中每个人脸，将人脸图像区域输入给身份识别模型，判断身份和识别率；将识别率低于50%的身份用博弈论优化生成最有的身份组合，并将识别结果与班级名单进行对比分析，判断课堂缺席情况，并将结果存入数据库中用作期末平时成绩考核依据。

技术领域

基于多任务级联卷积神经网络的课堂点名系统，采用卷积神经网络训练人脸样本，利用训练的结果识别人脸。通过摄像头拍摄课堂学生出勤图像，利用人脸识别功能，识别图像中每个人脸，将识别结果与班级名单进行对比分析，判断课堂缺席情况，并将结果存入数据库中用作期末平时成绩考核依据。

背景技术

深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示；深度学习在人脸识别领域的应用提高了人脸识别准确率；卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关深度学习问题，最典型的卷积网络，由卷积层、池化层、全连接层组成，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，通过若干个全连接层完成分类；通过深度学习方法可以直接将人脸图像映射到欧几里得空间，空间的距离代表了人脸图像的相似性；通过生成的映射空间与待检测人脸进行比较，完成人脸识别，验证和聚类任务。基于深度学习的人脸识别方法相比较其他方法具有精度更高、速度更快的特点。

发明内容

本发明的目的是为课堂教师及时掌握学生出勤情况，并根据出勤情况评审学生平时成绩和学生学习状态；基于多任务级联卷积神经网络的课堂点名系统，采用卷积神经网络训练人脸样本，生成人脸识别模型，通过收集的学生的照片用生成的人脸识别模型获取每一个学生的特征信息，并用SVM生成分类器，在实际应用中，通过课堂学生出勤的图片或视频，采用人脸识别模型获取图像中每一个人脸的特征值，通过SVM分类器进行识别是哪一个学生，并根据当前上课班级的学生名单进行比对，找出缺席学生信息，在识别的过程中可以人为手动修改错误，并将错误数据加入训练库重新训练人脸识别模型；

所需设备：采用1个教师PC机，1台深度学习服务器，1个罗技（Logitech）C922 高清网络摄像头，分辨率1080P/30fps，工作视角为78度；

方法步骤如下：

（010）部分，多任务级联卷积神经网络训练样本具体步骤如下：

步骤C011：收集学生人脸照片，每人5张不同图片，并且下载LFW人脸数据库，组建样本图片，使用深度学习服务器训练数据；

步骤C012：预处理样本图片，将待检测所使用的数据集校准为和预训练模型所使用的数据集大小一致（160*160）,检测数据集中每张图片中人脸的矩形框，提取人脸矩形框并对齐人脸，转换对齐后的人脸图片为大小160*160的图像，由大小为160*160的人脸图像构成训练样本；

步骤C013：采用多任务级联卷积神经网络训练样本，多任务级联卷积神经网络由三个子网络构成，分别是Proposal Network(P-Net)、Refine Network(R-Net)、Output Network(O-Net) 这三个网络对人脸的处理依次从粗到细。P-Net对样本进行处理生成人脸候选框，并且给出人脸框的回归和人脸关键点定位；由于P-Net的检测时比较粗略，接下来使用R-Net进一步优化。R-Net和P-Net类似，这一步的输入是前面P-Net生成的边界框，输出是去除大量的非人脸框；O-Net与R-Net执行同样的操作，在通过损失函数训练参数得到人脸识别模型文件，其中模型文件的扩展名为.pb；

（020）部分，使用SVM加载人脸识别模型文件对数据分类，构建SVM分类器模型，生成SVM分类器模型文件，具体步骤如下：

步骤C021：加载人脸识别模型文件；