[发明专利]一种回放边界负样例的增量式生成语音检测方法和系统

说明书

本发明提出一种回放边界负样例的增量式生成语音检测方法和系统。属于生成语音检测领域，其中，方法包括：在可以保存少量旧样本的情况下，通过挑选具有代表性生成语音数据进行保存，在后续的模型更新中将其加入到新的训练数据中，以减少模型对于旧有知识的遗忘，使得模型同时具备对原有伪造语音和新型伪造语音的检测能力，能够对新型未知的生成语音快速及时响应，持续性更新。

技术领域

本发明属于生成语音检测领域，尤其涉及一种回放边界负样例的增量式生成语音检测方法和系统。

背景技术

生成语音检测是判别音频为真实人声还是由录音、语音合成、语音转换技术生成的生成语音。

目前生成语音检测领域的研究尚未成熟，面临的最大问题是模型的泛化性不足，具体的，训练好的模型对于不匹配的数据集和未知类型的生成语音的检测性能会大大降低。

同时，随着语音合成、语音转换技术的不断发展，伪造语音手段也层出不穷，然而现有的伪造语音检测方案均面临着模型泛化性能不足的问题，对于训练数据集中未知的伪造类型，没有一种具有高鲁棒性、良好泛化性的模型可以保证将其检测出来，比如在数据集1上训练的模型在数据集上2效果大大降低。

目前大多数研究从特征提取和分类器两个角度进行改进以增进检测模型的泛化性，在特征提取角度，中科院声学所团队发现高频区域特征是模型过拟合于当前数据的主要原因，低频区域特征更加鲁棒，以及去除语音中静音段会导致模型对当前数据的过拟合加重，因此采用将低频区域特征作为模型的输入的检测方法。美国卡内基·梅隆大学团队提出一种改进特征——在对数梅尔谱上进行2维离散余弦变换，并加以谱增广和特征归一化策略以提升模型的的泛化性；新加坡国立大学团队提出在CQCC特征基础上进一步改进的eCQCC和CQSPIC特征；浙江大学团队采用大规模预训练网络Wav2vec用于音频特征提取。在分类器设计角度，图注意力网络，加入通道门控机制的多尺度残差网络，基于注意力机制的卷积神经网络都被尝试应用于生成语音检测。

除了以上常规思路，还有研究提出双向对抗领域自适应(Dual-adversarialdomain adaptation)方法，此方法是领域对抗训练(domain adversarial training)的延伸，在网络上加入两个分别针对真实和伪造语音的领域鉴别器，采用源域的带标签的数据和目标域无标签数据进行训练，提升对于领域不匹配数据集的性能。

以上的解决方案虽然可以在一定程度上改进泛化性，但依然存在局限性。具体而言：

(1)在特征和模型层面的改进难以证明其在未知类型生成音频数据上的检测性能，以及难以评定最优特征和模型结构。

(2)跨域对抗训练在其训练过程需要全部数据参与，会面临数据体量过大和模型更新耗时长的问题。

(3)生成技术正在不断更新换代，生成与检测是一组“攻”与“防”的耦合技术这一问题，训练一劳永逸的检测模型并不现实。

当有新的伪造手段出现时，采用模型微调，用原有模型在新数据将进行微调(fine-tune)会产生“灾难性遗忘”现象，带来在原有数据集上性能的大大降低；将新旧数据混合训练则会产生较大的时间、计算资源的开销。

现有技术缺点

当有新的生成类型出现，需要模型更新时，有两种常见的解决方案：直接微调、新旧数据混合重新训练，但是会有计算开销大，重头训练时间长的问题。

针对提升模型对于未知类型的生成语音检测的泛化性，目前有多模型融合、自适应训练、新的特征和网络结构的方法，但也存在相应的缺点。

1.直接微调：用新数据在已有的模型上进行训练，会让模型在新数据上的效果变好，但是使模型在以前的数据上识别效果大大降低。

2.重头训练：将新旧数据重合起来重头训练，当数据不断增加时，会使得一次训练的时间越来越长，增加时间代价和计算开销。