[发明专利]基于脑功能连接网络的多模态情绪识别方法及系统

说明书

本公开提供了一种基于脑功能连接网络的多模态情绪识别方法及系统，包括获取待分类的脑电信号和眼动凝视，对眼动凝视和情绪脑电信号均进行预处理，预处理后的情绪脑电信号均进行小波变换得到若干个频段；其次，采用锁相值和相位滞后指数对情绪脑电信号的若干个频段，建立脑功能连接网络；随后，采用张量化的阈值设置方法，构建二值化脑网络；同时，计算二值化脑网络的若干个特征和提取眼动凝视特征；并通过特征级随机化核典型相关分析算法将二值化脑网络的所有特征和眼动凝视特征进行特征级融合；最后，将脑网络的所有特征、眼动凝视特征以及特征级融合后的多模态特征均输入到训练后的支持向量机中，精确识别出积极情绪或消极情绪。

技术领域

本公开属于情绪分类技术领域，尤其涉及一种基于脑功能连接网络的多模态情绪识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

基于脑电图(Electroencephalogram,EEG)的脑机接口情绪识别已成为一个具有广泛影响的领域。基于EEG的智能脑机接口系统能够促进对情绪刺激测试下人脑区域波动的持续监测，对于脑情绪机制的发展和人工智能医疗辅助诊断具有重要意义。传统的脑电信号分析方法是从线性信号的角度提取统计量、频率等线性特征，然而，情绪刺激后的EEG信号实际上是非线性的、振荡的，线性测量大脑的所有脑电信息并不能准确、全面地反映出来。事实上，非线性测量可以有效地避免上述问题，揭示大脑在情绪刺激下的工作状态和信息反馈。

基于EEG的脑功能连接网络是脑源定位领域的一个重要研究课题。脑功能连接网络由节点和边缘组成，可分为脑电电极之间的因果关系和脑电电极之间相位计算值。根据图论，将每个电极视为脑功能连接网络的一个节点，利用相位同步算法计算任意两个通道的脑电信号之间的连接；功能连通性是大脑功能连通性网络空间中不同神经单元之间的动态协调，以及在时间上的相互关系。脑功能连接网络的构建方法包括线性构建和非线性构建，即线性构建方法有皮尔森相关、部分相干(时域)和部分相干(频域)等。非线性方法主要包括同步似然、互信息、相位滞后指数(PLI)、锁相值(PLV)等。

发明人发现，现有技术中情绪识别方法存在以下技术问题：

(1)传统的情绪识别方法无法深入的反映大脑区域的动态的网络拓扑和具体的神经机制，并且从脑电图中提取的特征大多是时间和频率维度，通过构建脑功能网络来提取和整合空间特征的研究较少。

(2)人脑是一个大型网络，其功能取决于空间分布区域之间的动态交互，脑电图方法可以实现无创且易于使用的神经成像技术来识别功能性大脑网络，而且可以高时空分辨率评估所识别网络的动态。但是，大多数基于脑电图信号的情绪分类方法只使用单一模态或多个脑电图通道，而且它们不能整合情绪神经机制的不同模态，同时，单一模态存在情绪刺激后反应信息不完整的，不能完全合理的反馈情绪刺激后反映机制。研究发现，在多模态情绪分类领域，现有的特征融合方法并不能全面体现不同特征之间的深层关系，特别是不同模态之间的特征关系。

发明内容

本公开为了解决上述问题，提供了一种基于脑功能连接网络的多模态情绪识别方法及系统，所述方案基于多模态特征的融合互补表示，有效地提高了情绪识别的准确性。

根据本公开实施例的第一个方面，提供了一种基于脑功能连接网络的多模态情绪识别方法，包括：

获取原始脑电信号和眼动信号，并进行相应预处理；

将预处理的脑电信号进行小波变换，获得若干个频段；

对每个频段分别构建脑功能连接网络，并将所述脑功能连接网络转换为二值化脑网络；

分别对所述脑功能连接网络和眼动信号进行特征提取，并将提取的特征进行融合；

基于脑功能连接网络特征、眼动信号特征以及融合特征，通过预先训练的分类模型，获得情绪识别结果。