[发明专利]一种基于短语音的声纹识别方法

权利要求书

1.一种基于短语音的声纹识别方法，其特征在于，包括以下步骤：

步骤1：数据增强；

扩充公开语音数据集Voxceleb1和Voxceleb2，然后将数据集中的语音随机剪切为0～Ns短语音，其中N为预设值；

步骤2：声学参数提取；

从原始语音波形分别提取梅尔频率倒谱系数MFCC和功率归一化倒谱系数PNCC；

步骤3：帧级特征提取；

将MFCC特征与PNCC特征融合，共同输入帧级特征提取网络，提取帧级说话人信息；

所述帧级特征提取网络包括1个一维卷积，1个特征融合模块和1个信道共享的深度残差收缩网络DRSN-CS；

步骤4：帧级特征聚合；

将帧级说话人信息输入到句子级特征聚合网络，采用双重注意力机制将帧级特征聚合为句子级特征；

所述句子级特征聚合网络包括1个双重注意力机制模块和2个全连接层FC；

所述双重注意力机制为两个并行的自注意力模块，分别为位置注意力模块和信道注意力模块；位置注意力模块包括4个一维卷积，通过自注意力机制学习空间特征的相关性；信道注意力机制包括2个一维卷积，通过自注意力机制学习信道特征的相关性；

步骤4的具体实现包括以下子步骤：

步骤4.1：将深度残差收缩网络的输出特征输入到1个卷积网络进行降维；

步骤4.2：将特征并行输入位置注意力模块和信道注意力模块；

将特征输入位置注意力模块，将更广泛的上下文信息编码为局部信息；具体包括以下子步骤：

步骤A.1：将输入的维度为C×H×W特征A分别经过3个卷积层，得到特征B、C和D，其中B、C、D的维度为C×H×W；

步骤A.2：对特征B、C、D进行维度转换得到特征B_r、C_r、D_r，其中B_r、C_r、D_r的维度为C×N，其中N＝H×W；

步骤A.3：对特征B_r和C_r做矩阵乘法，得到任意两点特征之间的关联强度矩阵；

步骤A.4：对关联强度矩阵进行softmax操作，得到注意力图S，表示每个位置对其他位置的注意力，S中每个元素表达式如下：

其中，s_ji衡量第i个位置对第j个位置的影响；B_i表示特征B_r的第i个位置的元素，C_j表示特征C_r的第j个位置元素，1≤i,j≤N；

步骤A.5：注意力图S和特征D_r进行矩阵乘法，利用注意力图S中的权值对特征D_r进行加权；

步骤A.6：将加权后的D_r乘以尺度参数α，然后与原始特征A进行逐元素加法，得到输出特征E^p，E^p的表达式如下：

其中，α初始化为0；D_i表示特征D_r的第i个位置的元素，A_j表示特征A的第j个位置元素；

将特征输入信道注意力模块，模拟信道之间的相互依赖关系；具体包括以下子步骤：

步骤B.1：将输入的维度为C×H×W特征A进行维度转换得到A_r，A_r维度为C×N，其中N＝H×W；

步骤B.2：对特征A和A_r进行矩阵乘法得到关联强度矩阵；

步骤B.3：对关联强度矩阵进行softmax操作，得到维度为C×N的信道注意力图X，X中每个元素表达式如下：

其中，x_ji衡量第i个信道对第j个信道的影响1≤i≤C，1≤j≤N；

步骤B.4：注意力图X和特征A进行矩阵乘法，利用注意力图X中的权值对特征A进行加权；

步骤B.5：将加权后的A乘以尺度参数β，然后与原始特征A进行逐元素加法，得到输出特征E^c，E^c的表达式如下：

其中β从0开始逐渐学习权重；

步骤4.3：将E^p和E^c相加，经过两个全连接层，得到最终的说话人嵌入；

步骤5：利用损失函数训练声纹识别模型直至损失函数收敛，保存声纹识别模型参数；

所述声纹识别模型由声学参数提取模块、帧级特征提取模块和帧级特征聚合模块组成；

步骤6：输入待测语音，利用训练好的声纹识别模型识别说话人身份。