[发明专利]一种多听者脑电信号生成及跨听者情感识别的方法及设备

说明书

本发明涉及一种多听者脑电信号生成及跨听者情感识别的方法，包括以下步骤：采集不同情感语音诱发下的听者脑电信号；对不同的语音信号进行预处理和数据增强；建立脑电信号的生成模型，并且执行生成模型的训练；执行生成模型，生成多个听者脑电信号，提取生成的多个听者脑电信号中的ERP波形；构建分类模型，对生成的多个听者脑电信号中的ERP波形进行情感分类。本发明通过使用ERP波形进行跨听者识别，解决跨听者情感识别的难题，提取叠加后ERP波形的能量信息和时序信息，实现对语音诱发的脑电信号准确分类，并且在跨被试情感识别达到较好的识别效果。

技术领域

本发明属于脑电信号处理技术领域，特别涉及一种多听者脑电信号生成及跨听者情感识别的方法。

背景技术

随着AI和脑机接口(brain-computer interface，BCI)技术的显著进步，大脑对外界刺激的编码机制也在不断地被探索。脑电(EEG)信号是大脑内部神经细胞电生理活动的总体反映，可反映人脑的思维活动，它不受主观因素影响，可有效屏蔽与任务无关的诱发干扰，其识别结果具有较强的稳定性和抗干扰性。脑电信号包含了人脑认知的全部信息，脑电信号对情绪的识别是人脑认知的直接结果。因此，利用脑电信号对语音进行情感识别的结果就是人脑智能的真实情感状态。

在实际的人机交互中，说话者的情绪化语音很容易被捕捉到，但是脑电信号的采集比较繁杂，在实际情况下难以采集听者脑电信号以进行准确情感预测。

发明内容

本发明的目的在于提供一种多听者脑电信号生成及跨听者情感识别的方法及设备，能够解决难以采集听者脑电信号以进行准确预测的问题；

为达到上述目的，本发明采用的技术方案是：

一种多听者脑电信号生成及跨听者情感识别的方法，包括以下步骤：

采集不同情感语音诱发下的听者脑电信号；

对不同的语音信号进行预处理和数据增强；

建立脑电信号的生成模型，并且执行生成模型的训练；

执行生成模型，生成多个听者脑电信号，提取生成的多个听者脑电信号中的ERP波形；

构建分类模型，对生成的听者脑电信号进行情感分类。

优选的，所述采集听者脑电信号还包括以下步骤：听者对同一个情感语音分别进行语音情感判断和语义复述，并且同时采集听者脑电信号，其中所述情感判断是指听者对语音信号的情感类别进行识别和判断，所述语义复述是指听者对语音信号的语音内容进行复述。

优选的，所述生成模型的训练包括以下步骤：采用条件生成对抗网络作为生成模型，将采集的听者脑电信号进行预处理；将数据增强后的语音信号输入条件生成对抗网络的生成器内；生成器生成听者脑电信号；条件生成对抗网络的判别器判别预处理后的听者脑电信号和生成的听者脑电信号，进行训练迭代。

所述执行生成模型包括以下步骤：将其他语音信号进行数据增强，增强为多个语音观测信号，将增强的多个语音观测信号输入到生成模型中生成多个听者脑电信号。

优选的，所述语音信号预处理是对语音信号采用短时能量和过零率的双门限端点检测方法；

所述语音信号数据增强包括以下步骤：采用随机观测矩阵对语音信号进行多次观测，得到语音信号的多个观测值；所述观测值的维度小于语音信号的维度。

优选的，还包括以下步骤：

将生成的多个听者脑电信号叠加，提取得到ERP波形；将ERP波形分为多个相同的信号片段，滑动窗口个数计算如下：

其中，S为生成的听者脑电信号长度，m为滑动窗口步长，l为滑动窗口长度；