[发明专利]多特征融合的情绪识别方法、装置和存储介质

权利要求书

1.一种多特征融合的情绪识别方法，其特征在于，所述多特征融合的情绪识别方法包括以下步骤：

获取语音数据和人脸图像数据；

对所述语音数据进行语音情绪识别，获得语音情绪数据，并对所述人脸图像数据进行人脸情绪识别，获得人脸情绪数据；

对所述语音情绪数据和人脸情绪数据进行融合处理，得到情绪识别结果。

2.如权利要求1所述的多特征融合的情绪识别方法，其特征在于，所述对所述语音数据进行语音情绪识别，获得语音情绪数据的步骤包括：

对所述语音数据进行分帧加窗处理，获得语音分析帧；

对所述语音分析帧进行短时傅里叶变换，获得语音声谱图；

根据预设的神经网络算法对所述语音声谱图进行情绪识别，获得语音情绪数据。

3.如权利要求2所述的多特征融合的情绪识别方法，其特征在于，所述根据预设的神经网络算法对所述语音声谱图进行情绪识别，获得语音情绪数据的步骤包括：

对所述语音声谱图进行卷积操作，获得对应的声谱特征图；

对所述声谱特征图进行池化操作，并提取主要的语音情感特征；

对提取的语音情感特征进行分类识别，获得语音情绪数据。

4.如权利要求3所述的多特征融合的情绪识别方法，其特征在于，所述对所述语音声谱图进行卷积操作，获得对应的声谱特征图的步骤之前包括：

对所述语音声谱图进行处理，获得简化语音声谱图；

对所述语音声谱图进行卷积操作，获得对应的声谱特征图的步骤包括：

对所述简化语音声谱图进行卷积操作，获得对应的声谱特征图。

5.如权利要求1所述的多特征融合的情绪识别方法，其特征在于，所述对所述人脸图像数据进行人脸情绪识别，获得人脸情绪数据的步骤包括：

对所述人脸图像数据进行预处理，获得灰度图像；

通过灰度共生矩阵方法对所述灰度图像进行人脸纹理分析，获得灰度共生矩阵；

对所述灰度共生矩阵进行特征向量提取，获得人脸表情特征向量；

对所述人脸表情特征向量利用神经网络进行分类，获得人脸情绪数据。

6.如权利要求1所述的多特征融合的情绪识别方法，其特征在于，所述对所述语音情绪数据和人脸情绪数据进行融合处理，得到情绪识别结果的步骤包括：

对所述语音情绪数据和人脸情绪数据构建后验概率集合，通过预设的两种算法分别获得对应的第一概率集合和第二概率集合；

根据所述第一概率集合和第二概率集合进行判断，获得情绪识别结果。

7.如权利要求6所述的多特征融合的情绪识别方法，其特征在于，所述对所述语音情绪数据和人脸情绪数据构建后验概率集合，通过预设的两种算法分别获得对应的第一概率集合和第二概率集合的步骤包括：

通过预设概率算法对所述语音情绪数据和人脸情绪数据进行计算，获得后验概率集合；

对所述后验概率集合根据加权求和公式进行计算，获得第一概率集合，并对所述后验概率集合根据求积公式进行计算，获得第二概率集合。

8.如权利要求6所述的多特征融合的情绪识别方法，其特征在于，所述根据所述第一概率集合和第二概率集合进行判断，获得情绪识别结果的步骤包括：

判断所述第一概率集合和第二概率集合的大小，确定最大概率集合；

对所述最大概率集合进行情绪分类计算，获得所述最大概率集合所对应的情绪识别结果。

9.一种多特征融合的情绪识别装置，其特征在于，所述多特征融合的情绪识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多特征融合的情绪识别程序，所述多特征融合的情绪识别程序被所述处理器执行时实现如权利要求1至8中任一项所述多特征融合的情绪识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多特征融合的情绪识别程序，所述多特征融合的情绪识别程序被处理器执行时实现如权利要求1至8中任一项所述多特征融合的情绪识别方法的步骤。