[发明专利]情感识别方法、装置、存储介质、及处理器

权利要求书

1.一种情感识别方法，其特征在于，包括：

获取目标对象的待识别人脸图像和待识别语音信息；

确定所述待识别人脸图像中的人脸特征和所述待识别语音信息中的语音特征；

将所述人脸特征和所述语音特征进行融合，得到融合特征；

基于特征融合分类模型对所述融合特征进行分析，得到融合分类数值，其中，所述特征融合分类模型是由多组融合分类数据通过机器学习训练出的，所述多组融合分类数据中的每组融合分类数据均包括：融合特征和标定的融合分类数值；

基于所述融合分类数值确定所述目标对象的情感识别结果。

2.根据权利要求1所述的方法，其特征在于，基于所述融合分类数值确定所述目标对象的情感识别结果包括：

判断所述融合分类数值是否不小于预定阈值；

在所述融合分类数值不小于预定阈值的情况下，基于所述融合分类数值确定所述目标对象的情感识别结果；

在所述融合分类数值小于预定阈值的情况下，基于人脸分类模型分析所述人脸特征得到人脸分类数值，基于语音分类模型分析所述语音特征得到语音分类数值；基于所述融合分类数值、所述人脸分类数值和所述语音分类数值，确定所述目标对象的情感识别结果，其中，所述人脸分类模型是由多组人脸分类数据通过机器学习训练出的，所述多组人脸分类数据中的每组人脸分类数据均包括：人脸特征和标定的人脸分类数值，所述语音分类模型是由多组语音分类数据通过机器学习训练出的，所述多组语音分类数据中的每组语音分类数据均包括：语音特征和标定的语音分类数值。

3.根据权利要求1所述的方法，其特征在于，获取目标对象的待识别人脸图像和待识别语音信息包括：

获取所述目标对象的待识别视频；

将所述待识别视频分解为图像帧序列和语音信号；

利用人脸检测算法对所述图像帧序列进行预处理，得到所述待识别人脸图像；

利用梅尔频率倒谱系数对所述语音信号进行预处理，得到所述待识别语音信息。

4.根据权利要求3所述的方法，其特征在于，利用人脸检测算法对所述图像帧序列进行预处理，得到所述待识别人脸图像包括：

将所述图像帧序列输入预设人脸识别模型，识别所述图像帧序列中各图像的人脸区域，其中，所述预设人脸识别模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：人脸图像和人脸图像中已标定的人脸区域；

在所述图像帧序列的各图像中，剪裁出所述人脸区域作为所述待识别人脸图像。

5.根据权利要求3所述的方法，其特征在于，利用梅尔频率倒谱系数对所述语音信号进行预处理，得到所述待识别语音信息包括：

对所述语音信号进行预加重、分帧和加窗，得到至少一个分析窗；

通过快速傅里叶变换，得到每个所述分析窗的频谱；

对所述频谱进行梅尔滤波得到梅尔频谱；

将所述梅尔频谱进行倒谱分析，得到梅尔频谱系数；

确定所述梅尔频谱系数为所述待识别语音信息。

6.根据权利要求1所述的方法，其特征在于，确定所述待识别人脸图像中的人脸特征和所述待识别语音信息中的语音特征包括：

利用人脸特征提取模型提取所述待识别人脸图像的人脸特征，其中，训练所述人脸特征提取模型的损失函数基于软最大损失函数softmax loss和中心损失函数center loss确定，所述软最大损失函数softmax loss和中心损失函数center loss的比重通过预设的超参数控制；

利用语音特征提取模型提取所述待识别语音信息的语音特征，其中，训练所述语音特征提取模型的损失函数为交叉熵损失函数。

7.根据权利要求6所述的方法，其特征在于，将所述人脸特征和所述语音特征进行融合，得到融合特征包括：

获取所述人脸特征提取模型的最后一层全连接层的第一输出特征向量；

获取所述语音特征提取模型的最后一层全连接层的第二输出特征向量；

对所述第一输出特征向量和所述第二输出特征向量进行降维；

利用卷积操作对降维后的所述第一输出特征向量和所述第二输出特征向量进行计算，确定所述融合特征。