[发明专利]一种多模态情感识别方法、装置、设备及存储介质

权利要求书

1.一种多模态情感识别方法，其特征在于，包括：

获取原始的脑电信号和外围生理信号，提取所述脑电信号的多通道的特征数据；

根据各个通道对应的所述特征数据，通过分类器进行情感识别，确定各个所述通道对应的识别准确率；

基于所述特征数据，构建各个所述通道之间的皮尔逊相关矩阵，根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数；

根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集；

根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号；

根据所述最佳脑电通道数据集和所述目标生理信号，通过分类器进行多模态的情感识别，得到情感识别结果；

所述根据所述皮尔逊相关矩阵和所述识别准确率，确定各个所述通道对应的特征权重参数，包括：

对所述皮尔逊相关矩阵和所述识别准确率做矩阵乘法运算，得到各个通道对应的通道影响因子；

根据各个所述通道对应的脑部区域，确定各个所述通道对应的偏置系数；

计算所述通道影响因子和所述偏置系数的和，得到所述通道对应的特征权重参数；

所述根据所述最佳脑电通道数据集，从所述外围生理信号中选取得到目标生理信号，包括：

计算各个所述外围生理信号的信号标准差；

计算各个所述外围生理信号和所述最佳脑电通道数据集的信号平均差；

根据所述信号平均差和所述信号标准差的比值，确定所述外围生理信号的相关性分值；

选取相关性分值最小的外围生理信号作为目标生理信号。

2.根据权利要求1所述的多模态情感识别方法，其特征在于，所述提取所述脑电信号的多通道的特征数据，包括：

通过预先设定的窗口在脑电信号上滑动选取，将每次窗口内的时域数据通过快速傅里叶变换转换到频域上，得到频域数据；

计算所述频域数据的功率谱密度和差分熵，并将所述功率谱密度和差分熵作为特征数据。

3.根据权利要求2所述的多模态情感识别方法，其特征在于，所述根据所述特征权重参数，从所述多通道的特征数据选取得到最佳脑电通道数据集，包括：

按照所述特征权重参数的大小，对所述通道进行排序；

从所述多通道的特征数据中，选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集。

4.根据权利要求3所述的多模态情感识别方法，其特征在于，所述选取特征权重参数较大的若干通道对应的特征数据，得到最佳脑电通道数据集，包括：

截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中；

基于所述临时数据集，通过分类器进行情感识别，确定当前所述临时数据集对应的识别准确率；

计算当前所述临时数据集对应的识别准确率和上一轮更新时所述临时数据集对应的识别准确率的差值；

当所述差值小于预设阈值，返回所述截取当前特征权重参数的排序处于最大位置的通道对应的特征数据，添加到临时数据集中的步骤；

当所述差值大于或者等于预设阈值，将当前的所述临时数据集确定为最佳脑电通道数据集。

5.根据权利要求1所述的多模态情感识别方法，其特征在于，所述分类器采用支持向量机、随机森林、多层感知机或者高斯过程分类器中的任一者。