[发明专利]一种基于端到端联合优化及决策的鲁棒性说话人识别方法

权利要求书

1.一种基于端到端联合优化及决策的鲁棒性说话人识别方法，其特征在于，包括

步骤1、采集语音信号x[n]并进行特征提取归一化后，按短样本的长度为l将其分割为M段短音频信号x_M[l]，其中x[n]＝{x₁[l],x₂[l],…,x_M[l]}，M取决于语音信号的长度，并将语音信号分为训练集和测试集；

步骤2、将训练集输入到自适应神经网络模型中，进行基于参数化滤波器的自适应特征提取和基于自注意力机制的深度残差网络的模型训练，得到训练后的端到端模型；

步骤3、测试集依次被输入到已训练好的端到端模型中进行决策，并得到M个样本的判决结果；假设模型库中有R个说话人，统计同一语音信号的单一决策结果中每一类别出现的概率y＝{y₁,y₂,…,y_R}，将决策结果中出现频率最高的作为该语音信号的最终识别结果；

Y＝max(y_i),i＝1,2,…,R                    (11)；

步骤2中,基于参数化带通滤波函数的自适应特征学习提取出特征，步骤如下：

A、为了使CNN的第一层卷积层从原始语音信号中挖掘出深层次说话人信息，对卷积层中的卷积核进行调整，即使用一组参数化带通滤波器sinc函数代替标准CNN网络中的卷积核；其中sinc函数：

(A-1)CNN网络中每个卷积定义如下:

其中：y[n]表示卷积后的输出，x[n]表示原始语音信号，h[n]表示长度为L的滤波器；使用函数g代替h执行卷积

y[n]＝x[n]*g[n,θ]                             (3)

其中：g[n,θ]＝2f₂sinc(2πf₂n)-2f₁sinc(2πf₁n)

由上公式可见，滤波器的参数仅仅是低截止频率和高截止频率Cutoff Frequency；这一自定义卷积核操作不仅减少了参数，同时加速了模型的收敛速度；

(A-2)为了使得该滤波器近似理想状态，将函数g与窗口函数w相乘来执行窗口化，使得函数g更加平滑：

g_w[n,f₁,f₂]＝g[n,f₁,f₂]·w[n]                        (4)

其中：

在参数化滤波器中，f₁和f₂是两个需要优化的参数，它们满足以下三个约束条件：

1)f₁≥0，引入新参数f₁^abs＝|f₁|来实现这一约束；

2)f₂≥f₁，引入新参数来实现这一约束，

3)f₁还需要满足小于奈奎斯特频率，训练发现这个约束会被自然的满足；

这样设计的滤波器是可微分的，则可以联合后端模型的其它参数实现同时优化。