[发明专利]基于中文语音和文本的情感识别系统及方法

说明书

本发明公开了一种基于中文语音和文本的情感识别系统，其包括依次连接的语音和文本信息提取单元、预处理操作单元和特征提取单元，语音和文本信息提取单元基于神经网络将获取的语音信息转换成相应的文本信息；预处理操作单元用于对原始的语音信息经过预加重、分帧和加窗处理被转换成梅尔频率倒谱系数MFCC，对文本信息进行分词和去停用词处理后，通过word2vec建立词典获得词向量；特征提取单元3用于梅尔频率倒谱系数MFCC和词向量的特征提取和融合，从而获取最后的情感识别结果。通过实验验证该系统最终识别准确率达到90.02％，相比于传统的双模态情感识别网络，在相同数据集的情况下，准确率提高了7.5％。

技术领域

本发明涉及情感识别技术领域，具体涉及一种基于中文语音和文本的情感识别系统及方法。

背景技术

情感识别是人机交互的重要组成部分，现阶段，不同的情感识别运用到不同领域，如远程教学，辅助驾驶，心理诊断等。准确的情感识别有利于更好的情感反馈和辅助相关任务的完成。然而人类情感的表达并不是由单一状态决定的，在复杂的多样的环境中，情感的表达方式也是多种多样，因此这给情感识别任务带来了极大的挑战。情感的持续时间长短不一并且不同人的表达和感知情绪的方式各异，有效地提升情感识别地鲁棒性和准确性是研究者追求的目标。中文相比于英文，结构复杂，表达多样化，情感关键词的提取也较为困难，且数据库较少。这些因素加大了对中文情感识别的困难，所以对中文进行情感识别具有一定的挑战性。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种基于中文语音和文本的情感识别系统及方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于中文语音和文本的情感识别系统，包括依次连接的语音和文本信息提取单元、预处理操作单元和特征提取单元，语音和文本信息提取单元基于神经网络将获取的语音信息转换成相应的文本信息；预处理操作单元用于对原始的语音信息经过预加重、分帧和加窗处理被转换成梅尔频率倒谱系数MFCC，对文本信息进行分词和去停用词处理后，通过word2vec建立词典获得词向量；特征提取单元3用于梅尔频率倒谱系数MFCC和词向量的特征提取和融合，从而获取最后的情感识别结果。

进一步地，所述特征提取单元包括依次连接的主模块、并联卷积模块和记忆网络，其中，主模块包括语音预处理单元和文本预处理单元，语音预处理单元用于对梅尔频率倒谱系数MFCC进行处理得到语音信息的浅层特征，文本预处理单元用于对词向量的进行处理得到文本信息的浅层特征，语音信息的浅层特征和文本信息的浅层特征的输出通道和大小保持一致，并联卷积模块包括结构相同的第一并联卷积模块、第二并联卷积模块和第三并联卷积模块，第一并联卷积模块与语音预处理单元连接，用于对语音信息的浅层特征进行进一步的语音特征提取，第二并联卷积模块与文本预处理单元连接，用于对文本信息的浅层特征进行进一步的文本特征提取，第一并联卷积模块、第二并联卷积模块输出端均与第三并联卷积模块连接，第三并联卷积模块用于将第一并联卷积模块和第二并联卷积模块提取的特征拼接后进行深层特征提取。

进一步地，所述语音预处理单元由传统卷积层、第一深度可分离卷积层、池化层和第二深度可分离卷积层依次连接而成。

进一步地，文本预处理单元由依次连接的嵌入层和双向长短时记忆网络组成。

进一步地，第一并联卷积模块、第二并联卷积模块和第三并联卷积模块结构相同，均包括并联的深度卷积模块、普通卷积模块和池化卷积模块，所述深度卷积模块包括深度可分离卷积层、LeakyReLU激活函数和批量归一化层，所述普通卷积模块包括传统卷积层、LeakyReLU激活函数和批量归一化层，池化卷积模块包括池化层，普通卷积模块和池化卷积模块提取到的特征通过拼接融合方式得到新的特征，拼接后的特征和深度卷积模块提取到的特征通过相加融合的方式提取到最终的特征。