[发明专利]一种情感识别方法及装置

说明书

技术领域

本发明涉及多媒体技术领域，特别是涉及一种情感识别方法及装置。

背景技术

随着人工智能技术的迅速发展，情感识别能够通过画面和声音判断人物情绪，让机器真正“懂”用户，这将极大促进视频理解、人机交互等智能领域的发展。情感识别是视频画面情感、音频情感识别等多个领域技术的综合体。视频画面情感识别利用人工智能的算法，通过视频画面中人物表情、动作和姿态等信息识别出人物情绪。而音频情感识别主要根据人在不同情感下语音信号的非平稳性特征，通过提取语音的音质、韵律、频谱等声学特征，来判断情绪变化。

传统的卷积神经网络(CNN，convolutional neural networks)能提取出图像的外观特征，在图像识别领域取得了很好的效果。然而，CNN只能处理单张图像。因此，先通过CNN提取视频每帧图像的外观特征，再通过递归神经网络(RNN，Recurrent Neural Network)提取图像序列的时间特征，通过视频的外观特征和时间特征识别视频的情感。其中，情感类型可以分为愤怒、恶心、害怕、高兴、悲伤、惊讶和中立七种基本情感。目前，由于带有情感标注的数据量少，RNN情感识别尤其是某几类情感(如恶心、惊讶)识别的准确度较低。

发明内容

本发明实施例的目的在于提供一种情感识别方法及装置，以提高视频情感识别的准确度。具体技术方案如下：

本发明实施例公开了一种情感识别方法，包括：

通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第一情感结果；

通过预先建立的三维卷积神经网络模型识别所述待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第二情感结果；

在得到所述第一情感结果及所述第二情感结果时，对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果；

根据所述融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到所述待识别视频的情感类型。

可选的，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：

对所述待识别视频进行预处理，得到所述待识别视频的帧序列。

可选的，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：

通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型；

通过递归神经网络对所述卷积神经网络模型的外观特征进行训练，建立递归神经网络模型；

通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。

可选的，所述对所述待识别视频进行预处理，得到所述待识别视频的帧序列的步骤，包括：

对所述待识别视频中的每一帧图片做仿射变换，得到所述帧序列。

可选的，所述对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：

根据公式：W_video＝a₁×W_CNN-RNN+(1-a₁)×W_C3D，

得到融合结果W_video，其中，W_CNN-RNN为所述第一情感结果，W_C3D为所述第二情感结果，a₁为第一情感结果参数，1-a₁为第二情感结果参数，a₁为大于0且小于1的数值。

可选的，位于所述对所述第一情感结果、所述第二情感结果进行融合计算，之前，所述方法还包括：

提取所述待识别视频的音频特征，通过支持向量机模型识别所述音频特征，得到音频情感结果；

在得到所述第一情感结果、所述第二情感结果及所述音频情感结果时，对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果。

可选的，所述对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：

根据公式：