[发明专利]基于卷积神经网络和视觉Transformer的语音情感识别方法

说明书

本发明公开了基于卷积神经网络和视觉Transformer的语音情感识别方法，涉及语音情感分类识别技术领域，直接将语音信号转变成log‑Mel谱图特征，降低不同说话者不同风格的影响，避免提取到的特征有很大区别，模型性能受影响，对小数据集进行扩充对模型实现高性能至关重要，同时避免出现过拟合现象，将增强策略直接应用于语音信号中提取的log‑Mel谱图，该方法简单易行且计算成本低，将CNN网络提取谱图中的局部频谱特征和ViT网络捕获长距离特征获得的全局特征进行融合，能够获取更丰富的语音情感特征，并且在多个数据集中均提高了语音情感识别的准确率。

技术领域

本发明涉及语音情感分类识别技术领域，具体的是基于卷积神经网络和视觉Transformer的语音情感识别方法。

背景技术

语音是人类之间最直接简单的交流方式，其中也包含着人类所要表达的情感信息，情感在实现人机交互方面起着至关重要的作用。情感识别是情感领域的研究热点，主要利用计算机对用户的生理信号进行分析处理，推断出用户的各种情感状态。通过语音信号来研究情感状态的语音情感识别已经受到越来越多的关注，对语音情感的有效识别能够提升语音可懂度，使各种智能设备最大限度理解用户意图，从而更好地为人类服务。

语音情感识别的流程主要包括：预处理、特征提取以及情感分类三部分。现实世界中语音情感是丰富多样、微妙复杂的，因此提取语音中的情感是具有挑战性的任务。对于特征提取，会受不同说话者不同风格的影响，导致提取到的特征有很大区别；对于样本较少的数据集，其提取到的特征数量有限，模型性能会受影响；对于识别方法，现有方法对特征提取比较单一化，无法达到较好的识别效果。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供基于卷积神经网络和视觉Transformer的语音情感识别方法，能够多元化的对特征进行提取。

本发明的目的可以通过以下技术方案实现：基于卷积神经网络和视觉Transformer的语音情感识别方法，方法包括以下步骤：

获取语音信号，并对语音信号进行预处理，然后通过快速傅里叶变换对预处理后的语音信号在每一帧上计算频谱得到功率谱，在梅尔Mel尺度上将三角形滤波器应用于功率谱以提取频带得到能量值，将梅尔滤波器组应用于功率谱，得到log-Mel谱图；

对log-Mel谱图特征增强色彩饱和度，对log-Mel谱图进行随机旋转，并将两种增强后的log-Mel谱图合并到原始log-Mel谱图中，得到扩充后的log-Mel特征集；

将扩充后的log-Mel特征集输入到CTS模块，通过卷积块提取log-Mel特征集的特征向量，再通过Transformer编码器和序列池化SeqPool得到全局序列表示，将log-Mel特征集输入到CNN模块中提取局部情感特征，将全局序列表示和局部的情感特征进行融合，获得情感特征信息，再将情感特征信息经过Softmax层得到最终情感分类结果。

优选地，所述预处理的过程包括归一化、预加重、分帧和加窗。

优选地，所述log-Mel谱图以[256,256,3]的三通道RGB图像形式存储。

优选地，所述随机旋转的角度为-15°～15°。

优选地，所述饱和度的增强强度为100。

优选地，所述CNN模块的Stage堆叠次数为(1,1,3,1)。

优选地，所述CTS模块的Transformer编码器层数为7。

优选地，所述CTS模块的卷积块包括卷积层、ReLU激活函数和最大池。

优选地，一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；