[发明专利]基于脑功能连接网络的多模态情绪识别方法及系统

权利要求书

1.一种基于脑功能连接网络的多模态情绪识别方法，其特征在于，包括：

获取原始脑电信号和眼动信号，并进行相应预处理；

将预处理的脑电信号进行小波变换，获得若干个频段；

对每个频段分别构建脑功能连接网络，并将所述脑功能连接网络转换为二值化脑网络；

分别对所述脑功能连接网络和眼动信号进行特征提取，并将提取的特征进行融合；

基于脑功能连接网络特征、眼动信号特征以及融合特征，通过预先训练的分类模型，获得情绪识别结果。

2.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法，其特征在于，所述预处理包括对获取的原始脑电信号和眼动信号，进行数据时间和试验次数归一化预处理。

3.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法，其特征在于，所述对每个频段分别构建脑功能连接网络，具体步骤为：根据每个脑电频段中任意两个电极信号通道之间的相位变化值，计算脑电信号相位锁相值及相滞指数；基于所述相位锁相值和相滞指数计算脑功能连接网络中节点间的边缘。

4.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法，其特征在于，所述将所述脑功能连接网络转换为二值化脑网络，具体为：

步骤1：对每个脑功能连接网络的每个连接权值与预设阈值进行比较，若不小于所述预设阈值，所述连接权值设为1，否则，设为0，获得二值化脑网络；

步骤2：对所述预设阈值增加预设变化量，继续执行所述步骤1；

步骤3：循环预设次数的步骤1至步骤2，将获得的二值化脑网络求均值，获得最终的二值化脑网络。

5.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法，其特征在于，提取的所述脑功能连接网络特征包括全局网络属性特征和局部网络属性特征，所述全局网络属性特征包括但不限于聚类系数、平均最短路径长度、同配系数、全局效率以及局部效率；所述局部网络属性特征包括但不限于中间中心度和节点度。

6.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法，其特征在于，所述眼动信号采用眼动凝视信号，提取的所述眼动信号特征包括但不限于注视、扫视、瞳孔直径、注视点序列以及注视距离。

7.一种基于脑功能连接网络的多模态情绪识别系统，其特征在于，包括：

数据获取单元，其用于获取原始脑电信号和眼动信号，并进行相应预处理；

分频单元，其用于将预处理的脑电信号进行小波变换，获得若干个频段；

脑功能连接网络构建单元，其用于对每个频段分别构建脑功能连接网络，并将所述脑功能连接网络转换为二值化脑网络；

特征融合单元，其用于分别对所述脑功能连接网络和眼动信号进行特征提取，并将提取的特征进行融合；

情绪识别单元，其用于基于脑功能连接网络特征、眼动信号特征以及融合特征，通过预先训练的分类模型，获得情绪识别结果。

8.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1-6任一项所述的一种基于脑功能连接网络的多模态情绪识别方法的步骤。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的一种基于脑功能连接网络的多模态情绪识别方法的步骤。

10.一种计算机程序，其特征在于，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现如权利要求1-6任一项所述的一种基于脑功能连接网络的多模态情绪识别方法的步骤。