[发明专利]一种基于端到端联合优化及决策的鲁棒性说话人识别方法

说明书

本发明涉及一种基于端到端联合优化及决策的鲁棒性说话人识别方法,采用卷积网络对语音信号进行特征提取和后端分类，旨在将原始的音频信号输入决策分析模型后直接输出识别结果，省略中间步骤，实现完全自动化的效果。其中使用参数化带通滤波器完成特征提取。后端分类决策则使用基于自注意力机制的深度残差网络，目的是更有效利用声学特征的深层次信息。本发明的说话人识别方法在背景噪声的环境下能够有效提升系统的识别性能，在降低噪声对系统性能影响、提高系统噪声鲁棒性的同时，优化系统结构，提高了相应说话人识别产品的竞争力。

技术领域

本发明属于说话人识别技术领域，特别指一种基于端到端联合优化及决策的鲁棒性说话人识别方法。

背景技术

说话人识别，是一种基于语音信息实现的特殊生物识别技术。在说话人识别的研究工作中，一般是单独研究稳定且可靠的特征，或者寻找合适的模型。这样的研究思路导致特征和模型的分离，可能引起特征和模型之间的不匹配。并且说话人识别的流程中每一步均包含大量手工设置的超参数，因此很难找到一套相适应的超参数值。为了解决这一问题，本发明把说话人识别的特征提取和模型匹配过程统一到深度模型里面，构建完整的基于深度学习模型的端到端说话人识别架构。

发明内容

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于端到端联合优化及决策的鲁棒性说话人识别方法，其特征在于，包括

步骤1、采集语音信号x[n]并进行特征提取归一化后，按短样本的长度为l将其分割为M段短音频信号x_M[l]，其中x[n]＝{x₁[l],x₂[l],…,x_M[l]}，M取决于语音信号的长度，并将语音信号分为训练集和测试集；

步骤2、将训练集输入到自适应神经网络模型中，进行基于参数化滤波器的自适应特征提取和基于自注意力机制的深度残差网络的模型训练，得到训练后的端到端模型；

步骤3、测试集依次被输入到已训练好的端到端模型中进行决策，并得到M个样本的判决结果；假设模型库中有R个说话人，统计同一语音信号的单一决策结果中每一类别出现的概率y＝{y₁,y₂,…,y_R}，将决策结果中出现频率最高的作为该语音信号的最终识别结果；

Y＝max(y_i),i＝1,2,…,R   (11)。

在上述的一种基于端到端联合优化及决策的鲁棒性说话人识别方法，步骤2中,基于参数化带通滤波函数的自适应特征学习提取出特征,步骤下：

A、CNN中最关键的部分之一是卷积层，尤其是第一层卷积层；为了使CNN的第一层卷积层从原始语音信号中挖掘出深层次说话人信息，本发明对卷积层中的卷积核(或称滤波器)进行调整，即使用一组参数化带通滤波器sinc函数代替标准CNN网络中的卷积核；其中sinc函数：

(A-1)CNN网络中每个卷积定义如下:

其中：y[n]表示卷积后的输出，x[n]表示原始语音信号，h[n]表示长度为L的滤波器；通常我们使用的卷积核中的参数都是需要从训练之中学习得到的，而本文采用的方法是使用函数g代替h执行卷积

y[n]＝x[n]*g[n,θ]   (3)

其中：g[n,θ]＝2f₂sinc(2πf₂n)-2f₁sinc(2πf₁n)

有上公式可见，滤波器的参数仅仅是低截止频率和高截止频率(CutoffFrequency)；这一自定义卷积核操作不仅减少了参数，同时加速了模型的收敛速度；