[发明专利]一种基于样本不均衡的半监督语音测谎方法

说明书

本发明公布了一种基于样本不均衡的半监督语音测谎方法，本发明包括以下步骤：首先，将大量包含未标记的语音数据与少量有标签语音数据输入网络，并对未标记数据进行不同程度的数据增强处理；然后，利用特征的互补性，提取语音信号中包含的谎言特征，并将不同网络提取到包含不同谎言信息的特征深层融合；其次，根据网络对低程度增强的未标记数据进行伪标签预测与筛选，并求解样本权重用于高程度增强数据的输出预测；最后，通过优化网络中的目标函数训练得到最佳网络。本发明所提出的一种基于样本不均衡的半监督语音谎言检测方法，能够为未标记数据生成有效的伪标签，并降低了因样本不均衡导致的模型性能变差的问题，非常具有实用意义。

技术领域

本发明属于语音信号处理技术领域，具体涉及到一种基于样本不均衡的半监督语音测谎方法。

背景技术

说谎是一种常见的有意传递错误信息的交流方式，主要通过语音传达错误信息。谎言对于心理学、少儿教育、刑事侦查等领域的研究具有至关重要的作用，因此如何通过简单有效的方式进行谎言检测是研究的重点。早期针对测谎的研究主要是通过生理参数的变化判断，该方法虽然有一定的效果，但是相关信息的采集设备较为复杂，受试者容易产生抵触心理，导致测谎结果有误。后来，为降低这种影响，一些研究人员提出利用语音进行测谎。这种方法的优点是数据采集的过程不需要大型设备解除采集，通过录音设备就可完成，隐蔽性强，且样本容易获取，结果也相对客观。因此，基于语音谎言检测的研究受到了广泛的关注。

近些年，针对语音谎言检测的相关研究中，语音特征提取和数据库构建是最重要的两个研究方向。如何能够从语音中提取更能表征谎言信息的特征，是语音谎言检测系统具有高性能识别能力的关键。另外，谎言语料库是谎言检测系统设计的基本模块，即首先需要从语料库中提取语音特征用于模型训练。然而，目前谎言语料库数公开数据库少，据量小，标签获取困难以及谎言与真话样本不均衡的问题突出，这一问题给谎言检测研究带来了巨大的压力。因此，在样本不均衡和标签数据不充分的情况下，如何提取更具表征能力的谎言特征是研究的重点。

基于以上的分析，本发明开展针对谎言样本不均衡及半监督识别模型的研究，旨在降低样本不均衡对模型预测能力的影响，并降低模型对有标签谎言语料库的依赖，进而提升模型识别性能。本研究首先构建提取深度谎言特征的混合神经网络模型，以达到特征相互补充的目的；其次，对提取到的不同类型的特征经全连接层进行融合，并利用低程度增强的无标签数据的预测输出与概率阈值的关系，为为标记数据生成预测标签，并将该标签作为真实标签用于网络训练；最后，结合各部分损失，通过优化器对模型进行优化，以得到性能最佳的网络模型。

发明内容

基于样本不均衡的研究在图像分类中有良好的性能，但是语音测谎与这些领域的分类任务不同，根据语音测谎的特点，将基础网络进行改进，使其可以实现对无标记输入数据的高置信度伪标签的预测，并根据样本权重给每个样本进行加权操作，然后提升网络模型的预测能力。于是，一种基于样本不均衡的半监督语音测谎方法，具体步骤如下：

(1)提取语音谎言特征：对语音数据进行分帧加窗等预处理操作，并提取其中的Mel谱特征和人工统计特征；

(2)数据增强：采取对人工统计特征进行添加随机噪声方式实现数据增强的过程，将该特征与Mel特征组合为两种不同程度增强的无标签数据：低程度增强输入与高程度增强输入，有标签数据同样进行低程度的数据增强；

其中，为加噪后输入AE的人工统计特征，同理为加噪输入AE的人工统计特征，为随机噪声，α为添加噪声的系数；

(3)构建网络模型：构建了用于提取Mel谱特征以及人工统计特征的基础网络，并将步骤(2)中的特征X按批次输入网络，X如公式(2)所示：

X＝{X_l,X_{u_W},X_{u_S}} (2)