[发明专利]基于Kinect彩色及深度信息在线考试作弊判断方法

说明书

本发明涉及图像处理、计算机视觉及机器学习领域，尤其涉及一种基于Kinect彩色及深度信息在线考试作弊判断方法，包括包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；该方法充分利用了Kinect对人脸和躯干关节返回特征数据丰富实用且真实可靠的优势，结合深度学习，既能充分发挥大规模开放在线课程的便利性，又能对在线测评进行有质量的监督，主要解决的问题是学习者在自己计算机前目前常见的无人监督或仅有限监督的测试环境使得在线教育的成绩评价和证书认证在社会上普遍缺少公信力。

技术领域

本发明涉及图像处理、计算机视觉及机器学习领域，尤其涉及一种基于Kinect彩色及深度信息在线考试作弊判断方法。

背景技术

大规模开放在线课程MOOC是一种开放的、允许数以万计的全球学习者注册并学习的新的在线教育课程。学习者在自己家中或任意地点登陆在线MOOC课堂即可参与学习及测评。由于MOOC颠覆了传统院校式教学，其拥有效率高、学习者自主选择性强、优质教育资源共享性强等优点。教育业界也普遍在接受这一新型教育方式。然而，在线式教育的特点在考试测评环节也存在弊端。学习者在自己计算机前无人监督或仅有限监督的测试环境使得在线教育的成绩评价和证书认证在社会上普遍缺少公信力。本发明致力于设计完成一种在线对人脸面容和上部分躯干动作检测的作弊判断方法，对在线测评进行有质量的监督。

Kinect感应器是美国微软公司近年开发的一款针对人脸、躯干等人体部位的特征采集工具。Kinect有三个镜头，中间的镜头是RGB 彩色1080p高清广角摄像头，左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器。Kinect也内建阵列式麦克风，由多组麦克风同时收音，比对后消除杂音。Kinect同时提供了一系列检测人脸、躯干等人体部位的特征形态和动作单元的应用程序接口。Kinect描绘了一组标准脸型的特征数据，定义了标准脸型中如脸颊、眼睛、鼻子等部位的特征数据坐标均为0，并对每个检测到的人脸返回一组取值范围为[-2,2]的坐标去描绘该人脸相对于标准脸型的差异。并且对于躯干部位，Kinect返回一组坐标点描绘肘关节、腕关节、手指关节等关节部位的位置信息。这些信息丰富实用且真实可靠，为基于该设备设计一套在线考试作弊检测的判断方法提供了基础。

对于参与在线测评的学习者,通过提取其测评过程的脸部、躯干的即时特征数据，将实时提取到的数据送入深度网络中，通过网络输出得到一系列的分类结果监测考试人的作弊行为，比如他人代考、眼神飘渺未正对屏幕、肢体动作异常等舞弊行为。对于各类作弊行为，系统自动发出警告，累积到一定次数扣除分数，严重时立即终止考试0 分处理等对应的响应。

发明内容

(一)解决的技术问题

针对学习者在自己特定在线考试环境下所进行的无人监督或仅有限监督的成绩评价是不可信，基于此的证书认证在社会上普遍缺少公信力，本发明就是为了主要解决该问题。为此，本发明提出了一种基于Kinect彩色及深度信息在线对人脸面容和上部分躯干动作检测的作弊判断方法。

(二)技术方案

本发明通过以下技术方案予以实现：

一种基于Kinect彩色及深度信息在线考试作弊判断方法，包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；

其中，所述面容和躯干动作数据采集，具体包括以下子步骤：

1)n组测试志愿者模拟在线考试情景，分别模拟正常答题和企图作弊的情况；

2)将Kinect放置于考试人计算机前，使用软件实时采集测试人面部特征点信息和上半部分肢体动作特征点信息；