[发明专利]一种基于自注意力和迁移学习的声纹识别方法

说明书

本发明公开了一种基于自注意力和迁移学习的声纹识别方法，获取开源英文语音数据，构建一级基础数据集；获取开源中文语音数据，构建二级基础数据集；采集应用场景语音数据，构建应用场景数据集；基于注意力模型和一级基础数据集，训练一级基础模型；而后，在二级基础数据集上，对一级基础模型进行迁移微调训练，获取二级基础模型；最终，在具体的应用场景数据上，迁移微调二级基础模型，获得适应具体应用场景的最终模型。本发明不仅学习到噪音、混响、信道的鲁棒性，且学习到中文的发音特色和更适应真实应用场景的识别能力，具有噪音、混响、信道的鲁棒性，很好满足真实场景的应用。

技术领域

本发明属于声纹识别的技术领域，具体涉及一种基于自注意力和迁移学习的声纹识别方法。

背景技术

生物识别技术，是依靠人体身体特征进行身份验证的识别技术。因其具有不会丢失、不会遗忘、唯一性、不变性、防伪性能好和使用方便的特点，被广泛用于门禁、考勤、金融、公共安全和终端电子设备中。

而声纹识别（Voice Print Recognition）作为生物识别的一种，是根据说话人的声波特性进行身份辨识的服务。其身份辨识与口音无关，与语言无关，非接触式，实现方式自然，近年来更是得到广泛的关注和应用。

目前，基于传统方法的声纹识别准确率偏低，而基于深度学习的声纹识别过于依赖海量、高纬度、高质量的语音数据，且两者均易受到环境噪音、混响及音频信道的影响，缺乏真实世界应用的泛化能力。

为此，为了解决了该问题，本发明提出了一种基于自注意力和迁移学习的声纹识别方法。

发明内容

本发明的目的在于提供一种基于自注意力和迁移学习的声纹识别方法，本发明不仅学习到噪音、混响、信道的鲁棒性，且学习到中文的发音特色和更适应真实应用场景的识别能力，具有噪音、混响、信道的鲁棒性，很好满足真实场景的应用。

本发明主要通过以下技术方案实现：一种基于自注意力和迁移学习的声纹识别方法，获取开源英文语音数据，构建一级基础数据集；获取开源中文语音数据，构建二级基础数据集；采集应用场景语音数据，构建应用场景数据集；基于注意力模型和一级基础数据集，训练一级基础模型；而后，在二级基础数据集上，对一级基础模型进行迁移微调训练，获取二级基础模型；最终，在具体的应用场景数据上，迁移微调二级基础模型，获得适应具体应用场景的最终模型。

为了更好的实现本发明，进一步的，对一级基础数据集、二级基础数据集、应用场景数据集进行时间领域和频率领域的数据增强。

为了更好的实现本发明，进一步的，在时间域，分别对一级基础数据集、二级基础数据集、应用场景数据集进行节奏、音高调整，以调节音频速度，然后添加随机噪声；在频率域，使用Vocal Tract Length Perturbation对每一个音频的频谱特征施加一个随机的扭曲因子。

为了更好的实现本发明，进一步的，在非约束条件下收集一级基础数据集。

为了更好的实现本发明，进一步的，在空间维度引入自注意力模型，通过空间维度的自相关性，筛选在空间维度对识别效果起作用的音频特征；在特征维度引入自注意力模型，通过特征维度之间的自相关性，筛选对识别效果起作用的特征维度成分。

为了更好的实现本发明，进一步的，所述音频特征先经过特征维度的注意力，再经过空间维度的注意力，进行注意力级联。

为了更好的实现本发明，进一步的，针对注册信道和验证信道的差异性进行阈值控制，当注册和验证来自同一信道时，则选取较高阈值，当注册和验证来自相异信道时，则根据差异性大小选取较低或更低阈值。

本发明的有益效果：