[发明专利]一种在线视频学习中学习者注意状态智能检测系统及方法

权利要求书

1.一种在线视频学习中学习者注意状态智能检测系统，其特征在于：包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，所述人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接。

2.根据权利要求1所述的一种在线视频学习中学习者注意状态智能检测系统，其特征在于：在线视频学习中学习者注意状态智能检测系统的检测方法为：所述人机交互平台1负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器4；

所述摄像头2用于捕捉学习者眼动信息A，并将信息传回主控制器4；

所述脑电信号采集模块3实时采集学习者的脑电信号，并将该信号传回主控制器4；

所述主控制器4将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器5；

所述云端服务器5运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。

3.根据权利要求2所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述学习者的操作行为包括暂停、播放、快进和快退。

4.根据权利要求3所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述学习者眼动信息A包括瞳孔直径和眼动轨迹。

5.根据权利要求4所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述脑电采集模块3由信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口依次电性输出连接，且无线收发器/有线接口电性输出连接主控制器4；

所述信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；

所述高精度模数转换器将模拟信号转换为数字信号；

所述单片机收集数字信号并控制无线收发器/有线接口通过无线信号或通过有线连接把脑电信号传给主控制器4。

6.根据权利要求5所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述主控制器4由电源模块、网口模块、无线收发器/有线接口、嵌入式处理器、显示器和控制系统组成，且所述主控制器4是基于嵌入式处理器的最小系统，所述控制系统将收集到的信息加时间戳、打包和加密，通过以太网发送至云端服务器5。

7.根据权利要求6所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述云端服务器5包括服务器数据输入端，服务器数据输入端将数据传递给算法框架6，算法框架6运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。

8.根据权利要求7所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：运用长短期记忆网络对学习者成绩进行预测，并将预测结果反馈给主控制器4同时存入数据库，方便使用者对整体在线视频学习进行评估。

9.根据权利要求8所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：数据融合深度人工神经网络的前端由注意神经网络层、一维卷积层和二维卷积层组成；

所述注意神经网络层对学习者突发操作行为进行采集与特征提取；

所述一维卷积层对脑电信号及实时瞳孔直径信息进行处理；

所述二维卷积层对眼动轨迹进行识别。

10.根据权利要求9所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述数据融合深度人工神经网络后端由三个全连接层和softmax层组成；所述长短期记忆网络由输入层、长短期记忆（LSTM）单元及全连接层组成。