[发明专利]基于神经网络和迁移学习的多模态情感识别方法、系统

权利要求书

1.一种基于神经网络和迁移学习的多模态情感识别方法，其特征在于，包括以下步骤：

步骤S1，基于录入的多模态情感数据，分别利用音频特征提取器、视频特征提取器对应提取音频特征、视频特征；

步骤S2，分别基于所述音频特征、所述视频特征，识别各语音情感类别的概率、各视频情感类别的概率；

步骤S3，进行语音情感类别概率差值与视频情感类别概率差值的比较，若所述语音情感类别概率差值大于等于所述视频情感类别概率差值，则选择语音情感类别中概率值最大的类别为最终情感类别，否则选择视频情感类别中概率值最大的类别为最终情感类别；

其中，

所述音频特征提取器，基于大规模的语音识别数据训练的深度神经网络，通过迁移学习获取；

所述视频特征提取器，基于大规模的人脸数据训练的深度神经网络，通过迁移学习获取；

所述语音情感类别概率差值为所述各语音情感类别的概率中最大两个概率值的差值；

所述视频情感类别概率差值为所述各视频情感类别的概率中最大两个概率值的差值；

其中，音频特征提取器和视频特征提取器选用的深度神经网络均为深度递归神经网络；

其中，步骤S2中所述各语音情感类别的概率、和/或所述各视频情感类别的概率的识别，所利用的识别模型为深度递归神经网络，其计算公式为：

y_t＝f_out(W_hyh_t+b_y)

h_t＝f_act(W_mhm_t+W_hhh_t-1+b_h)

其中，m_t为音频特征向量或者视频特征向量，h_t为隐含层向量，y_t为输出向量，f_act为隐含层的激励函数，f_out为输出层的激励函数，W_mh为输入层与隐含层的系数，W_hh为隐含层与隐含层间的系数，W_hy是隐含层与输出层间的系数，b_y为输出层偏差，b_h为隐含层偏差；

其中，步骤S3中所述最终情感类别，其识别公式为：

其中，为语音情感识别模块识别结果中最高的概率值，且分类结果为i；为语音情感识别模块识别结果中第二的概率值，且分类结果为j；视频情感识别模块识别结果中最高的概率值，且分类结果为m；为视频情感识别模块识别结果中第二的概率值，且分类结果为n；l为最终情感类别。