[发明专利]一种融合历史语句情感相关特征的语音情感识别方法

说明书

本发明公开了一种融合历史语句情感相关特征的语音情感识别方法，首先对收集的语音数据提取特征，得到包含MFCC在内的共45维特征；然后将说话人及对话人的两条历史语句经IFCN‑LSTM网络提取历史情感相关特征，说话人当前语句经过LSTM网络处理，之后融合历史情感相关特征到当前语句，作为最终的判别语句。本发明采用融合历史语句情感相关特征到当前语句的方法，通过把握历史情感细粒度，使网络更加关注当前语句中情感突出的部分，从而到达提高识别准确率的效果。

技术领域

本发明属于情感识别技术领域，涉及基于人工智能的语音情感识别，具体涉及一种融合历史语句情感相关特征的语音情感识别方法。

背景技术

人工智能判别情感的主要方式有基于语音、基于面部表情和基于肢体动作，而语音信号无疑是最容易采集到的信息，通过采集语音信息判别情感的方式，易实现、可移植性强、应用广泛，例如在服务行业、教育行业、和医疗行业都有所应用。语音不仅包含说话人所要表达的语义信息，也蕴含说话人的情感状态，基于语音的情感识别就是根据说话者的语气、语调、关键词等，通过采集说话者的声学特征信息来判别说话者的情感状态。计算机的语音情感识别能力是计算情感智能的重要部分，是提高人机交互能力的一个重要研究方向。

语音情感识别的流程一般分为特征提取、情感分类和情感判别三个模块。常用语音情感特征有频谱特征、韵律学特征和音质特征。而当前的语音情感分类方法中，大多是针对说话者当前语句进行情感判别，忽略了历史语句中情感相关的特征，使得情感分析准确率大打折扣。语音情感识别在实现人机交互中起着不可替代的作用，因而更先进、更准确的语音情感识别方法具有重大意义。

发明内容

针对现有技术的不足，本发明提出了一种融合历史语句情感相关特征的语音情感识别方法，提取历史语句中的情感相关特征，并将历史特征融合到当前语句，提高当前语句情感识别准确率。

一种融合历史语句情感相关特征的语音情感识别方法，具体包括以下步骤：

步骤一、收集语音数据，除了1条待识别语句外，还包括至少2条历史语句。

步骤二、创建会话模型，将待识别语句的发出者作为说话人T，其他人作为对话人Q。将待识别的语句作为当前语句，记为T0，其他语句作为历史语句，按照与当前语句之间间隔的语句数量及发出者，分别记为Tn、Qn。

步骤三、对当前语句和历史语句分别提取45维的声学特征，包括12个梅尔倒谱系数MFCC、26个梅尔衍生参数、3个音质特征及6个短时统计特征。

步骤四、构建级联的IFCN网络和LSTM网络，所述IFCN网络为将CNN网络的全连接层替换为两个卷积层并在卷积层后加入三个反卷积层，将反卷积层的上采样结果与池化层输出的同等维度大小的特征相加。将步骤三提取的历史语句的声学特征输入级联的IFCN网络和LSTM网络中，得到历史语句的历史情感相关特征。再将当前语句的声学特征输入LSTM网络汇总，得到当前语句的当前情感特征。

步骤五、将步骤四得到的历史情感相关特征与当前情感特征融合，作为判别特征，输入softmax函数中进行情感分类。

本发明具有以下有益效果：

1、采用IFCN网络提取相关空间特征，将传统CNN网络中最后的全连接层替换成卷积层，解决不同长度语句作为输入的问题，在卷积层后反卷积层进行上采样，可以使语音序列恢复到输入时的序列长度，在提取相关空间特征的同时，保证不打乱原有的时间特征序列。

2、采用IFCN和LSTM相结合进行历史情感相关特征提取，其中IFCN能够在提取空间相关特征、去除冗余特征的同时，恢复语音时间序列到输入状态，LSTM在处理时间序列的过程中，能够关联时间序列情感特征之间相关性，从而有效提取空间特征且关联时间特征的时间序列相关性，提取历史语句中最佳的情感相关特征。