[发明专利]一种多模态情感识别方法、装置、设备及存储介质

说明书

本申请公开了一种多模态情感识别方法、装置、设备及存储介质，获取原始的脑电信号和外围生理信号，提取脑电信号多通道的特征数据；根据各个通道的特征数据进行情感识别，确定各个通道对应的识别准确率；基于特征数据，构建各个通道之间的皮尔逊相关矩阵，根据皮尔逊相关矩阵和识别准确率，确定各个通道对应的特征权重参数；根据特征权重参数，从多通道的特征数据选取得到最佳脑电通道数据集；根据最佳脑电通道数据集，从外围生理信号中选取得到目标生理信号；根据最佳脑电通道数据集和目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。该方法能够提高情感识别的处理效率和精度。本申请可广泛应用于机器学习技术领域内。

技术领域

本申请涉及机器学习技术领域，尤其是一种多模态情感识别方法、装置、设备及存储介质。

背景技术

近些年来，情感识别已经成为情感计算、计算神经科学及人机交互等领域的热门话题，同时它已被广泛应用于医疗、教育、游戏和航空等诸多领域。虽然情绪是一种心理状态，但是它可以通过多种途径表现出来，例如肢体语言、说话方式和面部表情等。在日常生活中，一般人们会通过这些角度判断对方的情绪状态。然而，有时人们可能会故意通过外部表现来隐藏自己的真实情绪状态，这就导致了外在表现与内在情绪状态不一致的结果。因此，仅仅通过这些肉眼可见的并且可受人的意志改变的特征，是无法准确判断出一个人真实的情绪状态的。此外，当一些残疾人的面部或四肢出现疾病时，他们往往无法通过外在行为来表达自己的情绪。研究表明，呼吸、体温、心率、脑电等生理指标都是受神经系统控制的，而这些控制是不受人的意志所改变的。因此，生理信号可以更准确地反映一个人的情绪状态。

其中，脑电信号的时间分辨率较高，但它的空间分辨率较低，为了获取更加丰富的信息，都会在受试者的头皮上放置较多电极，一般采用多通道(32或64或128个通道)的脑电信号进行情感识别的研究，以期望达到高识别率。但在使用过多通道的脑电信号后，往往会增加设备成本、加大操作复杂度，而额外的脑电通道也可能包含噪声和冗余通道，这反而会降低识别性能。在现在技术中，基于多模态情感识别可以利用多种生理信号，可以从多个方面去识别用户情感。在基于多模态情感识别中，由于脑电信号(EEG)反映用户中枢神经系统的情绪变化，外周生理信号反映用户自主神经系统的情绪反应，其结果更加具有客观性和准确性，因此，考虑到通过直接减少脑电通道，或者是用生理信号加入来弥补减少脑电通道所带来的损失，然而生理信号过多的引入依旧会导致计算量太大，影响情绪识别系统的实时性，继而导致情感识别处理的效率大大降低。

综合上述，相关技术中存在的技术问题亟需得到解决。

发明内容

本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。

为此，本申请实施例的一个目的在于提供一种多模态情感识别方法。

本申请实施例的另一个目的在于提供多模态情感识别装置。

为了达到上述技术目的，本申请实施例所采取的技术方案包括：

第一方面，本申请实施例提供了一种多模态情感识别方法，包括以下步骤：

获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；

根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；

基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；

根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；

根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；

根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果。