[发明专利]一种多重注意力特征融合的说话人识别方法

说明书

本发明提供了一种多重注意力特征融合的说话人识别方法，构建深度说话人表征模型，包括特征提取器和说话人分类器，Fbank特征作为深度说话人表征模型的输入，通过特征提取器将Fbank特征提取为说话人表征，在训练阶段，使用说话人分类器将说话人表征映射到说话人标签上，并构造损失函数对深度说话人表征模型进行优化；在测试阶段，采用余弦距离比较说话人表征之间的相似度，根据阈值判断是否为相同的说话人。本发明通过多重注意力特征融合对不同分支的特征进行加权融合，多重注意力特征融合包括空间注意力机制和通道注意力机制，增强了每个分支中的有效信息，获得更加鲁棒性的说话人识别性能。

技术领域

本发明属于人工智能技术领域，具体涉及一种多重注意力特征融合的说话人识别方法。

背景技术

随着语音技术的发展，越来越多的设备都支持语音控制，例如智能手机、智能音箱和智能汽车。为了提高语音控制的安全性，说话人识别技术常常被加入到这些智能设备中作为前端服务，来确保仅有特定的说话人使用这些语音服务。说话人识别是一个非常热门的话题，许多的方法都被提出来解决这个问题。

说话人识别的核心步骤是从语音信号中提取说话人表征。早期，语音信号的概率密度函数被用来描述说话人的身份信息，高斯混合-通用背景模型(Gaussian MixtureModel-Universal Background Model，GMM-UBM)就是其中的代表模型，从大量说话人无关的语音学习语音信号的分布规律作为UBM，最大后验概率(Maximum A Posteriori，MAP)算法将UBM的参数调整为目标说话人的GMM参数。因GMM-UBM中的均值超矢量不仅包含说话人信息还包含噪音信息和信道信息，改进版本i-vector方法尝试将均值超矢量进行分解，并采用PLDA(Probabilistic Linear Discriminant Analysis)进行信道补偿，获得了显著的性能提升。随着深度学习被成功的运用到计算机视觉和自然语言处理，基于深度学习的说话人识别系统也被提出，其中，以d-vector和x-vector的代表深度说话人表征模型最为流行。最近，许多基于x-vector的改进方法被提出，在保持原有计算量和参数下取得了更好的性能，D-TDNN(Densely Connected Time Delay Neural Network)就是其中之一，D-TDNN通过堆叠TDNN来增加x-vector的网络深度，同时采用窄输出和密集连接来减少参数和计算量。目前，研究学者发现多分支特征能够帮助模型学习到更具区分性的说话人表征，该方法通过不同的卷积核参数将特征映射为不同的分支，每个分支单独的进行处理，最后在将每个分支的特征进行融合，在多分支特征融合时，传统方法采用相加或者拼接的方式，无法充分发挥多分支特征的特性。

发明内容

针对现有技术中存在不足，本发明提供了一种多重注意力特征融合的说话人识别方法，对不同分支的特征进行加权融合，充分发挥多分支特征的特性。

本发明是通过以下技术手段实现上述技术目的的。

一种多重注意力特征融合的说话人识别方法，具体为：

构建深度说话人表征模型，深度说话人表征模型包括特征提取器和说话人分类器，Fbank特征作为深度说话人表征模型的输入，通过特征提取器将Fbank特征提取为说话人表征，在训练阶段，使用说话人分类器将说话人表征映射到说话人标签上，并构造损失函数对深度说话人表征模型进行优化；在测试阶段，采用余弦距离比较说话人表征之间的相似度，根据阈值判断是否为相同的说话人；

所述深度说话人表征模型基于多重注意力特征融合，所述多重注意力特征包括空间注意力机制和通道注意力机制，从全局数据上学习不同分支的特征权重，对特征X₁和X₂进行相加融合，获得全局特征G，将所述G分别输入到空间注意力机制和通道注意力机制中，获得每个分支的特征权重，最终得到多重注意力特征融合的输出特征。