[发明专利]一种多听者脑电信号生成及跨听者情感识别的方法及设备

权利要求书

1.一种多听者脑电信号生成及跨听者情感识别的方法，其特征在于，包括以下步骤：

采集不同情感语音诱发下的听者脑电信号；

对不同的语音信号进行预处理和数据增强；

建立脑电信号的生成模型，并且执行生成模型的训练；

执行生成模型，生成多个听者脑电信号，提取生成的多个听者脑电信号中的ERP波形；

构建分类模型，对生成的多个听者脑电信号中的ERP波形进行情感分类。

2.根据权利要求1所述的一种多听者脑电信号生成及跨听者情感识别的方法，其特征在于，所述采集听者脑电信号还包括以下步骤：听者对同一个情感语音分别进行语音情感判断和语义复述，并且同时采集听者脑电信号，其中所述情感判断是指听者对语音信号的情感类别进行识别和判断，所述语义复述是指听者对语音信号的语音内容进行复述。

3.根据权利要求1所述的一种多听者脑电信号生成及跨听者情感识别的方法，其特征在于，所述生成模型的训练包括以下步骤：采用条件生成对抗网络作为生成模型，将采集的听者脑电信号进行预处理；将数据增强后的语音信号输入条件生成对抗网络的生成器内；生成器生成听者脑电信号；条件生成对抗网络的判别器判别预处理后的听者脑电信号和生成的听者脑电信号，进行训练迭代。

4.根据权利要求1所述的一种多听者脑电信号生成及跨听者情感识别的方法，其特征在于，所述执行生成模型包括以下步骤：将其他语音信号进行数据增强，增强为多个语音观测信号，将增强的多个语音观测信号输入到生成模型中生成多个听者脑电信号。

5.根据权利要求1、3或4所述的一种多听者脑电信号生成及跨听者情感识别的方法，其特征在于，

所述语音信号预处理是对语音信号采用短时能量和过零率的双门限端点检测方法；

所述语音信号数据增强包括以下步骤：采用随机观测矩阵对语音信号进行多次观测，得到语音信号的多个观测值；所述观测值的维度小于语音信号的维度。

6.根据权利要求1所述的一种多听者脑电信号生成及跨听者情感识别的方法，其特征在于，还包括以下步骤：

将生成的多个听者脑电信号叠加，提取ERP波形；将ERP波形分为多个相同的信号片段，滑动窗口个数计算如下：

其中，S为生成的听者脑电信号长度，m为滑动窗口步长，l为滑动窗口长度；

分段后的ERP波形被分解为θ节律(4-8Hz)、α节律(8-12Hz)、低β节律(12-16Hz)、高β节律(16-25Hz)和γ节律(25-45Hz)的五个频带。