[发明专利]一种多模态紧张情绪识别方法、装置、设备及存储介质

权利要求书

1.一种多模态紧张情绪识别方法，其特征在于，包括：

获取被试人员的面部视频、脑电信号和皮肤电信号；

利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；

将所述融合特征输入情绪分类模型，得到情绪分类结果。

2.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：

根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。

3.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：

对所述脑电信号进行滤波处理，得到脑电滤波信号；

将脑电滤波信号进行降采样处理，得到若干个频段信号；

对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。

4.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：

以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。

5.一种多模态紧张情绪识别装置，其特征在于，包括：

信号获取模块，用于获取被试人员的面部视频、脑电信号和皮肤电信号；

特征融合模块，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；

情绪分类模块，用于将所述融合特征输入情绪分类模型，得到情绪分类结果。

6.根据权利要求5所述的多模态紧张情绪识别装置，其特征在于，还包括：

眼动分析模块，用于根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。

7.根据权利要求5所述的多模态紧张情绪识别装置，其特征在于，还包括：

脑电分析模块，用于对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。

8.根据权利要求5所述的多模态紧张情绪识别装置，其特征在于，还包括：

皮肤电分析模块，用于以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。

9.一种计算机终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4任一项所述的多模态紧张情绪识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的多模态紧张情绪识别方法。