[发明专利]基于神经网络和迁移学习的多模态情感识别方法、系统

摘要

本发明涉及多模态情感计算领域，提出了一种基于神经网络和迁移学习的多模态情感识别方法、系统，旨在解决情感数据难以获取且标注困难，使得相应识别模型不能够充分训练，造成多模态情感识别准确率不能满足需求的问题，该方法基于大规模数据训练深度神经网络并通过迁移学习获取音频特征提取器、视频特征提取器，进而对多模态情感数据进行音频特征、视频特征的提取，从而识别各语音情感类别的概率、各视频情感类别的概率，并通概率值判断最终情感类别。该方法可以有效的融合音视频两个模态，提高了多模态情感识别的准确率。

主权项

一种基于神经网络和迁移学习的多模态情感识别方法，其特征在于，包括以下步骤：步骤S1，基于录入的多模态情感数据，分别利用音频特征提取器、视频特征提取器对应提取音频特征、视频特征；步骤S2，分别基于所述音频特征、所述视频特征，识别各语音情感类别的概率、各视频情感类别的概率；步骤S3，进行语音情感类别概率差值与视频情感类别概率差值的比较，若所述语音情感类别概率差值大于等于所述视频情感类别概率差值，则选择语音情感类别中概率值最大的类别为最终情感类别，否则选择视频情感类别中概率值最大的类别为最终情感类别；其中，所述音频特征提取器，基于大规模的语音识别数据训练的深度神经网络，通过迁移学习获取；所述视频特征提取器，基于大规模的人脸数据训练的深度神经网络，通过迁移学习获取；所述语音情感类别概率差值为所述各语音情感类别的概率中最大两个概率值的差值；所述视频情感类别概率差值为所述各视频情感类别的概率中最大两个概率值的差值。