[发明专利]基于多任务级联卷积神经网络的课堂点名系统

摘要

本发明方法是在高校课堂上基于多任务级联卷积神经网络的点名系统，采用卷积神经网络训练人脸样本生成人脸识别模型，利用生成的人脸识别模型计算班级所有学生的人脸特征距离，在利用SVM生成身份识别模型；通过摄像头拍摄课堂学生出勤图像，利用人脸识别功能，识别图像中每个人脸，将人脸图像区域输入给身份识别模型，判断身份和识别率；将识别率低于50%的身份用博弈论优化生成最有的身份组合，并将识别结果与班级名单进行对比分析，判断课堂缺席情况，并将结果存入数据库中用作期末平时成绩考核依据。

主权项

1.基于多任务级联卷积神经网络的课堂点名系统，采用卷积神经网络训练人脸样本，利用训练的结果识别人脸，通过摄像头拍摄课堂学生出勤图像，利用人脸识别功能，识别图像中每个人脸，将识别结果与班级名单进行对比分析，判断课堂缺席情况，并将结果存入数据库中用作期末平时成绩考核依据；所需设备：采用1个教师PC机，1台深度学习服务器，1个罗技（Logitech）C922 高清网络摄像头，分辨率1080P/30fps，工作视角为78度；方法步骤如下：（010）部分，多任务级联卷积神经网络训练样本具体步骤如下：步骤C011：收集学生人脸照片，每人5张不同图片，并且下载LFW人脸数据库，组建样本图片，使用深度学习服务器训练数据；步骤C012：预处理样本图片，将待检测所使用的数据集校准为和预训练模型所使用的数据集大小一致（160*160）,检测数据集中每张图片中人脸的矩形框，提取人脸矩形框并对齐人脸，转换对齐后的人脸图片为大小160*160的图像，由大小为160*160的人脸图像构成训练样本；步骤C013：采用多任务级联卷积神经网络训练样本，多任务级联卷积神经网络由三个子网络构成，分别是Proposal Network(P‑Net)、Refine Network(R‑Net)、Output Network(O‑Net) 这三个网络对人脸的处理依次从粗到细；P‑Net对样本进行处理生成人脸候选框，并且给出人脸框的回归和人脸关键点定位；由于P‑Net的检测时比较粗略，接下来使用R‑Net进一步优化；R‑Net和P‑Net类似，这一步的输入是前面P‑Net生成的边界框，输出是去除大量的非人脸框；O‑Net与R‑Net执行同样的操作，在通过损失函数训练参数得到人脸识别模型文件，其中模型文件的扩展名为.pb；（020）部分，使用SVM加载人脸识别模型文件对数据分类，构建SVM分类器模型，生成SVM分类器模型文件，具体步骤如下：步骤C021：加载人脸识别模型文件；步骤C022： 设置SVM参数，SVM类型为C‑SVC，核函数类型为RBF函数，核函数属性degree为3，gamma函数设置为1/k，核函数中的coef0设置为0，损失函数设置为1，设置cache内存大小为40MB，设置允许的终止判据值为0.001，使用启发式；步骤C023：采用模型处理检测数据集中的每一张样本图片，并获得图片特征值，将所有检测数据集的特征值加载入SVM分类器中，进行训练，并生成SVM分类器，保存为.txt格式文件；（030）部分，加载人脸识别模型文件和SVM分类器模型文件，识别分析学生出勤图片，统计出勤情况，具体步骤如下：步骤C031：加载人脸识别模型文件和SVM分类器；步骤C032：加载学生出勤图片或视频，识别图像或视频中的所有人物，显示图片中识别的人脸区域和人名，根据识别结果对不正确或未识别人脸做标记，保存识别错误人脸图片区域和标签，未识别人脸区域，根据识别的人物对照课程学生名单，记录缺课学生名单（040）部分，识别错误以及未识别人脸重新训练具体步骤如下：步骤C041：采用（010）和（020）部分的步骤重新训练数据集生成人脸识别模型和SVM分类器，改进识别效果。