[发明专利]一种基于深度信念网络的多模态情感识别方法

摘要

本发明公开了一种基于深度信念网络的多模态情感识别方法，步骤如下一、建立一个多模态情感识别数据库，包含3类情感的样本，分别是语音情感识别数据库、心电情感识别数据库和呼吸情感识别数据库；二、获取每种情感识别数据库的深度信念网络分类器并对分类器进行数据集的训练，其中该分类器包括M个深度信念网络模型以及M个深度信念网络模型输出端共同连接的分类器；三、将3种情感识别数据库的深度信念网络分类器采用投票的方法进行决策层融合，得到最终的情感识别结果。本发明针对多模态情感数据库样本进行情感识别，包括语音、心电和呼吸，采用了深度信念网络构造分类器取代传统的人工抽取特征方法，减少了情感特征提取对人工经验和实验次数的依赖性，为深度信念网络和多模态情感识别的结合提供了新思路。

主权项

一种基于深度信念网络的多模态情感识别方法，其特征在于，步骤如下：步骤一、建立一个多模态情感识别数据库，包含3类情感的样本，分别是：语音情感识别数据库、心电情感识别数据库和呼吸情感识别数据库，每类情感样本数为n；步骤二、针对3种情感识别数据库分别抽取特征，获取语音情感识别数据库、心电情感识别数据库和呼吸情感识别数据库中每个样本对应的特征向量，从每种情感识别数据库抽取60％的样本作为验证集；步骤三、设置子空间规模M及子空间每个样本特征向量，每次被抽取的维度为n；步骤四、针对每个样本的特征向量进行M次的随机抽取组成M个子空间，即每次每个样本特征向量被抽取部分组合构成一个子空间，一个子空间对应形成一个新的训练集；其中针对每个样本特征向量随机抽取的维度为n维；步骤五、生成M个深度信念网络模型，并在M个深度信念网络模型输出端共同连接一个分类器进行训练，分别得到3种情感识别数据库的深度信念网络分类器；步骤六、将3种情感识别数据库的深度信念网络分类器依据一定的准则进行决策融合，得到最终的识别结果。