[发明专利]一种基于多模态信息融合的智能心理评估方法及系统

权利要求书

1.一种基于多模态信息融合的智能心理评估方法，其特征在于，包括：

接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

对测试样本利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；

利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；

根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

2.如权利要求1所述的一种基于多模态信息融合的智能心理评估方法，其特征在于，所述生理信号包括心电信号、皮电信号、呼吸信号、血氧信号和面部血氧含量信号，对五种生理信号采用滤波器消除噪声，对心电信号和呼吸信号采用低通滤波器去噪；对皮电信号采用平滑滤波器去除高频毛刺。

3.如权利要求2所述的一种基于多模态信息融合的智能心理评估方法，其特征在于，采用小波变化法对心电信号进行分析识别，提取时频域特征；采用导数和阈值法对呼吸信号进行分析识别，提取峰值点特征；采用小波变换模极大值和形态学运算结合的方法提取血氧信号特征；采用归一化方法提取面部血氧含量信号的特征。

4.如权利要求1所述的一种基于多模态信息融合的智能心理评估方法，其特征在于，所述行为信号包括语音信号、表情信号和眼动信号，对三种行为信号进行消除噪声和语音信号量化的预处理。

5.如权利要求4所述的一种基于多模态信息融合的智能心理评估方法，其特征在于，提取语音信号的短时能量、基音频率、第一共振峰、MFCC和语音持续时间的特征；利用拉普拉斯算子与CLBP特征提取算法相结合提取表情信号图像特征；提取眼动信号的线性预测系数，对其作差分运算获取一阶差分线性预测系数，与归一化极值作为眼动信号的组合特征。

6.如权利要求1所述的一种基于多模态信息融合的智能心理评估方法，其特征在于，利用多模深度信念网络中每个网络层学习特征时可视层与隐含层神经元全连接以及同一层神经元无连接的特点，通过对生理信号和行为信号的特征进行全连接学习后，输出生理信号和行为信号的高层特征。

7.如权利要求1所述的一种基于多模态信息融合的智能心理评估方法，其特征在于，采用支持向量机作为分类器，得到心理评估分类结果。

8.一种基于多模态信息融合的智能心理评估系统，其特征在于，包括：

数据采集模块，被配置为接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

信号特征提取模块，被配置为对测试样本利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；

模态特征融合模块，被配置为利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；

分类模块，根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。