[发明专利]基于深度残差网络和注意力机制的声纹识别方法及装置

说明书

本发明涉及一种基于深度残差网络和注意力机制的声纹识别方法、装置及计算机可读存储介质，属于语音识别技术领域，包括步骤：S1：对采集到的音频数据进行预处理，得到能够模拟人耳某些特性的MFCC特征；S2：构建FAM，将S1得到的特征经过帧级注意力模块对每帧的重要性进行加权运算，得到加权后的MFCC特征；S3：构建声纹识别网络并进行声纹识别；引入MobileNet的设计思想，将普通卷积替换为深度可分离卷积以降低网络参数量；在ResNet50的每一个layer后加入通道域注意力模块建模各个特征通道的重要程度，针对不同的说话人增强或抑制不同的通道，最后将特征输入网络中的分类器进行分类，实现声纹识别。

技术领域

本发明属语音识别技术领域，涉及一种基于深度残差网络和注意力机制的声纹识别方法及装置。

背景技术

随着人工智能技术的发展，声纹识别领域取得了巨大的进步。声纹识别又称说话人识别，即通过声音识别出“谁在说话”，是根据语音信号中的说话人个性信息来识别说话人身份的一项生物特征识别技术。该技术被广泛应用于服务行业，在工作人员服务过程中存在着大量与客户交互的场景，为了规范工作人员的言语以提升客户好感度，急需一种在环境噪音过大，工作人员和客户交互频繁的情况下，仍能准确对工作人员身份进行识别的方法。

传统的说话人识别算法所采用的模型，一般属于浅层结构，只是对原始的输入信号进行较少层次的线性或者非线性处理以达到特征提取的目的。这种结构的优点在于易于学习，而且有比较完整的数学算法证明推导。但是对于复杂场景下的语音信号，其模型表达能力有限，不能够充分地学习到信号中的结构化信息和高层信息。而深层结构的模型，如深度神经网络(Deep Neural Network，DNN)，由于其多层非线性变换的复杂性，具有更强的表达与建模能力，更适合处理这类语音信号。神经网络层数越多，对输入特征抽象的层次越深，对其理解的准确度相对来说也就越深。然而，深度神经网络单纯的堆叠层数，会出现梯度消失、梯度爆炸和网络退化的问题。所以目前说话人识别领域常用的深度神经网络是可以避免这类问题的ResNet网络，但过深的ResNet网络虽然提取特征的能力增强，但训练的时间也越长，并且当提取的特征过于深的时候，容易发生过拟合的现象，即在验证集内识别效果良好，但在实际应用中表现不佳。

发明内容

有鉴于此，本发明的目的在于针对ResNet层数过深时训练时间过长且容易过拟合的问题，引入轻量级网络MobileNet的设计思想，在ResNet50模型的基础上利用深度可分离卷积来构建网络，针对环境噪声过大的问题，引入注意力机制筛选重要帧并采用加噪训练的方式增强模型的抗干扰能力。提供一种基于深度残差网络和注意力机制的声纹识别方法及装置。

为达到上述目的，本发明提供如下技术方案：

一种基于深度残差网络和注意力机制的声纹识别方法，包括以下步骤：

S1：对采集到的音频数据进行预处理，得到能够模拟人耳某些特性(如对低频更敏感)的梅尔频率倒谱系数(Mel Frequency Cepstral Coefficents,MFCC)特征X；

S2：构建帧级注意力模块(Frame-level Attention Module,FAM)，将S1得到的MFCC特征X经过帧级注意力模块对每帧的重要性进行加权运算，得到加权后的MFCC特征

S3：构建声纹识别网络并进行声纹识别；引入MobileNet的设计思想，将普通卷积替换为深度可分离卷积以降低网络参数量；在ResNet50的每一个layer后加入通道域注意力模块SE Block建模各个特征通道的重要程度，针对不同的说话人增强或抑制不同的通道，最后将特征输入网络中的分类器进行分类，实现声纹识别。

进一步，所述步骤S1包括如下步骤：

S11：将原始音频数据根据预设的固定长度进行分帧；

S12：对分帧以后的数据进行快速傅里叶变换，将每一帧的波形特征转换成频谱；