[发明专利]一种多模态紧张情绪识别方法、装置、设备及存储介质

说明书

本发明公开了一种多模态紧张情绪识别方法、装置、设备及存储介质，涉及智能识别技术领域。所述方法包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。本发明能够结合面部视频、脑电信号和皮肤电信号进行特征融合，多方面检测被试人员的情绪是否适宜进行危险作业，提前规避风险。

技术领域

本发明涉及智能识别技术领域，尤其涉及一种多模态紧张情绪识别方法、装置、设备及存储介质。

背景技术

紧张情绪检测是判断高空作业人员是否能继续工作的重要指标之一。当工人存在过度的紧张情绪时，会影响工人的工作效率，增加安全风险。通过对工人的紧张情绪进行检测，可以对工人的工作状态进行适度调整，规避潜在风险。因此，提前对需要进行危险作业的人员进行情绪识别是非常有必要的。

发明内容

本发明目的在于，提供一种多模态紧张情绪识别方法、装置、设备及存储介质，以提前对需要进行危险作业的人员进行情绪识别。

为实现上述目的，本发明实施例提供一种多模态紧张情绪识别方法，包括：

获取被试人员的面部视频、脑电信号和皮肤电信号；

利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；

将所述融合特征输入情绪分类模型，得到情绪分类结果。

优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：

根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。

优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：

对所述脑电信号进行滤波处理，得到脑电滤波信号；

将脑电滤波信号进行降采样处理，得到若干个频段信号；

对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。

优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：

以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。

本发明实施例还提供一种多模态紧张情绪识别装置，包括：

信号获取模块，用于获取被试人员的面部视频、脑电信号和皮肤电信号；

特征融合模块，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；

情绪分类模块，用于将所述融合特征输入情绪分类模型，得到情绪分类结果。

优选地，所述的多模态紧张情绪识别装置，还包括：

眼动分析模块，用于根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。

优选地，所述的多模态紧张情绪识别装置，还包括：

脑电分析模块，用于对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。

优选地，所述的多模态紧张情绪识别装置，还包括：

皮肤电分析模块，用于以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。