[发明专利]一种跨被试和跨模态的多模态紧张情绪识别方法及系统

权利要求书

1.一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，包括：

获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

2.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述对所述眼动信号训练数据及所述脑信号训练数据进行预处理，包括：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

3.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述特征提取包括：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

4.如权利要求3所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述浅层特征提取器的训练过程通过以下公式表示：

其中，s_s为特征提取器的参数，θ_y为情绪分类器的参数，θ_md为模态域分类器的参数，为优化后的特征提取器的参数，为优化后的情绪分类器的参数，为优化后的模态域分类器的参数。

5.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述情绪分类器由全连接层和Relu激活层构成。

6.一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，包括：

数据获取模块，用于获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

数据处理模块，用于对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

模型优化模块，用于将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

情绪识别模块，用于将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

7.如权利要求6所述的一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，所述数据处理模块，还用于：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。