[发明专利]基于多模态的大学生情绪压力检测系统与方法

权利要求书

1.基于多模态的大学生情绪压力检测方法，其特征在于，方法步骤如下：

S01.通过情绪压力测试实验，人为激发被试处于情绪激发状态，并分别获取被试基础情绪压力状态下和压力激发状态下的EEG、ECG和GSR数据；

S02.将步骤S01中采集到的EEG、ECG和GSR数据进行预处理与特征提取；

S03.将步骤S02中得到的EEG特征、ECG特征和GSR特征输入预先训练好的BP神经网络中进行分类，得到基于多模态的被试基础情绪压力等级与激发压力等级；

S04.将步骤S03中的基础情绪压力等级、激发压力等级与压力变化差值输入至预先训练好的感知器中进行分类，判断被试是否处于高情绪压力状态。

2.根据权利要求1所述的基于多模态的大学生情绪压力检测方法，其特征在于，所述步骤S01中的情绪压力测试实验包括以下阶段：

第一阶段：介绍实验流程与目的，调查被试的基本信息；

第二阶段：佩戴仪器设备同时适应实验环境，待设备佩戴结束后进入十分钟的自我休息阶段，闭目养神，期间记录静息闭眼状态下EEG、ECG和GSR数据五分钟，作为被试的基础情绪压力水平；

第三阶段：进行压力任务测试，测试分为问题陈述环节与心算数学题测试环节；做数学题期间记录压力激发状态下的EEG、ECG和GSR数据五分钟，作为被试的激发情绪压力水平；

第四阶段：放松休息阶段。

3.根据权利要求2所述的基于多模态的大学生情绪压力检测方法，其特征在于，所述步骤S01中EEG数据的获取选用EEG设备，该EEG设备共分布有Fp1，Fp2，C3，C4，Cz，P3，P4，Pz，Tp9，Tp10十个电极，其中的Tp9、Tp10作为参考电极，采样率预先设定为500Hz；

所述步骤S01中ECG数据的获取选用ECG穿戴设备，ECG设备中的NEG端接右手手臂，POS端接左手手臂，Earth端接右脚脚踝处；

所述步骤S01中GSR数据的获取采用GSR设备，GSR设备的两个电极使用连接带连接到同一只手的食指与无名指中段位置。

4.根据权利要求3所述的基于多模态的大学生情绪压力检测方法，其特征在于，所述步骤S02中采集到的EEG、ECG和GSR数据预处理与特征提取包括：

EEG数据的预处理与特征提取：

使用插值法去除坏通道，将由于通道故障或者电极位置错误的无用通道信号进行去除；

滤波，使用快速傅里叶变化过滤掉频带外的噪声，保留脑电信号后续处理需要用的阿尔法波和贝塔波频带；

降采样，降低采样率至256Hz；

使用独立成分分析法去除眼动、头部运动、心跳伪影；

选择脑电信号中的阿尔法波功率、23～30Hz高贝塔波功率以及高贝塔波功率与阿尔法波功率比值作为脑电信号的特征；

ECG数据的预处理与特征提取：

采用小波变换对采集到的心电数据进行去噪；

选择心电信号中的R-R间期均值、R-R间期的标准差、心率变异性和每组ECG数据的心率平均值作为ECG的特征；

GSR数据的预处理与特征提取：

采用小波变换去除皮电信号中的高频部分干扰噪声，并对皮电信号进行归一化处理；

选择皮肤电信号的每组GSR数据的平均值、每组GSR数据的中值、每组GSR数据的标准差和每组数据的最大值与最小值的差值作为GSR的特征。

5.根据权利要求4所述的基于多模态的大学生情绪压力检测方法，其特征在于，所述步骤S03中BP神经网络包括输入层、隐含层、输出层依次串联，且输入层、隐含层、输出层之间的传递函数为线性传输函数；

其中的输入层有11个输入单元，隐含层有13个神经元，输出层有三个输出单元，神经网络的输入向量为11维的向量X，每个输入向量分别代表EEG、ECG和GSR的特征，并且每组数据输入前均做归一化处理；

BP神经网络的训练公式为：