[发明专利]基于神经网络和迁移学习的多模态情感识别方法、系统

说明书

本发明涉及多模态情感计算领域，提出了一种基于神经网络和迁移学习的多模态情感识别方法、系统，旨在解决情感数据难以获取且标注困难，使得相应识别模型不能够充分训练，造成多模态情感识别准确率不能满足需求的问题，该方法基于大规模数据训练深度神经网络并通过迁移学习获取音频特征提取器、视频特征提取器，进而对多模态情感数据进行音频特征、视频特征的提取，从而识别各语音情感类别的概率、各视频情感类别的概率，并通概率值判断最终情感类别。该方法可以有效的融合音视频两个模态，提高了多模态情感识别的准确率。

技术领域

本发明属于多模态情感计算领域，具体地涉及一种基于神经网络和迁移学习的多模态情感识别方法、系统。

背景技术

情感计算就是试图赋予机器类人的观察、理解和生成各种情感的能力，其研究目的是探索和理解情感在生物体重所扮演的角色，并提出相应的模型和方法来建立起机器的情感能力，增强其自治性、适应能力和社交能力。情感计算是有表现力的人机交互和人工智能领域重点关注的研究方向，涉及到智能科学、数学、神经学、生理科学等多个领域。

情感识别主要包括特征提取和分类器分类两个步骤。情感特征目前没有统一的标准，只是将相关的特征组合在一起。语音情感特征(即音频特征)通常使用韵律、频谱和音质特征，视频情感特征(即视频特征)则是借用图像识别中的LBP、HOG、SIFT等，并且还会依据不同的场景不同的数据库差异巨大，因此阻碍了情感识别的发展。对于分类器部分，传统的分类器隐马尔可夫链(HMM)、随机森林和支持向量机(SVM)都得到了很好的应用，特别是SVM在小数据集上能取得较好的效果。随着深度神经网络在语音识别和图像识别领域取得的巨大成功，深度神经网路在情感计算领域也得到了应用和发展，并取得了不错的效果。但是，由于情感数据难以获取且标注困难，因此情感数据库的规模往往受到限制，这就导致了在训练深度神经网络的时候网络训练不够充分，无法实现在具有大数据优势的语音识别和图像识别领域的优良性能。

人类通过语音和图像等多模态可以表达情感状态，并且各个模态之间互补。因此，情感识别可以充分利用多模态信息来增加其正确率。但是如何有效地进行多模态融合也是具有挑战性的问题。目前主要有两种方式，一种是特征层融合，就是提取各个模态的特征，然后组合成特征向量送入到分类器进行分类，但是会存在各个模态的采样率不匹配和高维度特征的问题；二是决策层融合，就是分别提取各个模态的特征分别送入到分类器中进行识别，最后对各个模态识别的结果进行融合得到最终的结果，但是这是假设各个模态独立，无法对多模态进行充分地利用。因此，情感识别需要探索更为有效的融合方式。

发明内容

为了解决现有技术中的上述问题，即为了解决情感数据难以获取且标注困难，使得相应识别模型不能够充分训练，造成多模态情感识别准确率不能满足需求的问题，本发明的一方面，提出了一种基于神经网络和迁移学习的多模态情感识别方法，包括以下步骤：

步骤S1，基于录入的多模态情感数据，分别利用音频特征提取器、视频特征提取器对应提取音频特征、视频特征；

步骤S2，分别基于所述音频特征、所述视频特征，识别各语音情感类别的概率、各视频情感类别的概率；

步骤S3，进行语音情感类别概率差值与视频情感类别概率差值的比较，若所述语音情感类别概率差值大于等于所述视频情感类别概率差值，则选择语音情感类别中概率值最大的类别为最终情感类别，否则选择视频情感类别中概率值最大的类别为最终情感类别；

其中，

所述音频特征提取器，基于大规模的语音识别数据训练的深度神经网络，通过迁移学习获取；

所述视频特征提取器，基于大规模的人脸数据训练的深度神经网络，通过迁移学习获取；

所述语音情感类别概率差值为所述各语音情感类别的概率中最大两个概率值的差值；

所述视频情感类别概率差值为所述各视频情感类别的概率中最大两个概率值的差值。