[发明专利]基于卷积神经网络和视觉Transformer的语音情感识别方法

权利要求书

1.基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，方法包括以下步骤：

获取语音信号，并对语音信号进行预处理，然后通过快速傅里叶变换对预处理后的语音信号在每一帧上计算频谱生成功率谱，在梅尔Mel尺度上将三角形滤波器应用于功率谱以提取频带得到能量值，将梅尔滤波器组应用于功率谱，得到log-Mel谱图；

对log-Mel谱图特征增强色彩饱和度，对log-Mel谱图进行随机旋转，并将两种增强后的log-Mel谱图合并到原始log-Mel谱图中，得到扩充后的log-Mel特征集；

将扩充后的log-Mel特征集输入到CTS模块，通过卷积块提取log-Mel特征集的特征向量，再通过Transformer编码器和序列池化SeqPool得到全局序列表示，将log-Mel特征集输入到CNN模块中提取局部情感特征，将全局序列表示和局部的情感特征进行融合，获得情感特征信息，再将情感特征信息经过Softmax层得到最终情感分类结果。

2.根据权利要求1所述的基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，所述预处理的过程包括归一化、预加重、分帧和加窗。

3.根据权利要求1所述的基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，所述log-Mel谱图以[256,256,3]的三通道RGB图像形式存储。

4.根据权利要求1所述的基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，所述随机旋转的角度为-15°～15°。

5.根据权利要求1所述的基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，所述饱和度的增强强度为100。

6.根据权利要求1所述的基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，所述CNN模块的Stage堆叠次数为(1,1,3,1)。

7.根据权利要求1所述的基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，所述CTS模块的Transformer编码器层数为7。

8.根据权利要求7所述的基于卷积神经网络和视觉Transformer的语音情感识别方法，其特征在于，所述CTS模块的卷积块包括卷积层、ReLU激活函数和最大池。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个所述程序被一个或多个所述处理器执行，使得一个或多个所述处理器实现如权利要求1-8中任一所述的基于卷积神经网络和视觉Transformer的语音情感识别方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的基于卷积神经网络和视觉Transformer的语音情感识别方法。