[发明专利]一种基于深度自编码器子域自适应跨库语音情感识别方法

说明书

本发明提出了一种基于深度自编码器子域自适应跨库语音情感识别方法，本发明包括以下步骤：首先，源域和目标域提取的高维语音特征分别输入两个深度自编码网络，将高维特征映射到低维特征空间中，压缩特征中的冗余信息；其次，将低维特征输入基于MMD的子域自适应模型中，实现了不同情感类别空间中的特征分布对齐，并将对齐后的特征输入softmax分类器进行分类；最后，将带标签源域数据计算的交叉熵loss和MMD loss添加进自编码网络进行有监督地优化训练，确保跨语料库语音情感识别系统的准确率。本发明提出的方法可以学习更多不同领域的共同情感特征，模型在不同的语料库中具有很好的鲁棒性和泛化性。

技术邻域

本发明属于语音信号处理技术领域，具体涉及到一种基于深度自编码器子域自适应跨库语音情感识别方法。

背景技术

语音作为人类交流最自然便利的方式之一。语音信号除了承载语义信息外，还承载着诸如性别、情感状态等其他信息，当人类语音交流时，两个人很容易感受到彼此的情感状态。情感是人类具有标志性的自然属性，在人们日常生产生活过程中扮演着重要的角色，并且对人类的行为判断产生一定的影响。人工智能的本质是使计算机模拟人类的思考判断，并作出相应的类人行为。人工智能想要从低级智能向高级智能发展，那么赋予计算机情感的感知将是必不可少的。

传统语音情感识别的研究都是在同一个语音数据库上进行训练和测试，训练集和测试集具有同样的特征空间分布，往往可以达到较高的识别率。在实际语音情感识别系统中，一方面训练集和测试集往往来自不同的语料库，由于不同语料库的情感获取方法、情感种类以及录音环境有所不同，此时训练集和测试集存在分布差异，从而导致基于同分布假设的传统语音情感识别方法不能够很好地解决跨库识别问题；另一方面随着大数据时代的到来，数据的暴增而人工标注的昂贵，迁移学习对跨语料库的运用受到了越来越多研究者们的重视，利用已标注过的数据来帮助目标数据的训练己成为语音情感识别一个重要的研宄方向。

迁移学习是机器学习领域近年来一个比较热门的研究领域，主要通过迁移当前领域已有知识来解决目标领域中数据仅有少量标签甚至没有标签的学习问题，在很多应用领域得到了广泛的研究如文本分类与聚类、图像分类、传感器定位、协同过滤等。受到迁移学习在这些领域成功应用的启发，在语音情感识别的跨库研究中使用迁移学习。而域自适应的引入己被证明可以显著减少不同领域之间特征分布的差异性，但相比于使用单一数据库进行语音情感识别率来说，跨库语音情感识别的识别率显得非常不理想，所以寻找更加有效的迁移方法来提高跨库语音情感识别的识别率显得尤为重要。

因此本发明主要关注于不同语料库之间的跨库语音情感识别，使用两个深度自编码器，并且交叉使用激活函数以获取更匹配的特征，以及引入基于MMD的子域自适应算法，使其可以对齐以类别划分的子域之间的特征分布，减少不同域之间的分布差异，实现更为有效的跨库语音情感识别。

发明内容

为了解决不同语料数据库之间特征分布差异的问题，更好地将带标记源域数据的知识迁移到无标记目标域，实现无标记数据的准确分类，提出了一种用于跨库语音情感识别深度自编码器子域自适应方法。具体步骤如下：

(1)语音预处理：将源域语料库中的语音数据按对应的情感分类标记数字标签，而目标域数据库不做标签处理，之后对其进行分帧及加窗，为下一步提取特征做准备。

(2)语音特征提取：对步骤(1)预处理完毕后的语音数据，提取语音情感特征，该特征包括但不限于MFCC、短时平均过零率、基频、均值、标准差、最大最小值等。

(3)特征压缩：将步骤(2)得到的语音特征输入两个深度自编码器，其中一个自编码器提取源域数据特征，进行有监督学习，另一个为辅助性自编码器，用来无监督学习目标域数据特征。假设自编码的输入为x，编码阶段的输入用y 表示，relu()和elu()为非线性激活函数，则编码过程表示如下：

y＝f(wx+b) (6)