[发明专利]一种端到端的文本无关声纹识别方法及系统

说明书

本发明提供了一种端到端的文本无关声纹识别方法及系统，通过设计基于Sinc函数的滤波器对原始语音样本捕获重要的窄带扬声器特性；然后使用时延神经网络(TDNN)和门控循环单元(GRU)生成不同层次的互补说话人信息的混合神经网络结构，采用多级池化策略，池化层加入注意力机制(Attention)，从时延神经网络层和门控循环单元层提取最具有表征说话人帧级、话语级特征信息，对说话人向量提取层进行正则化处理；接着通过AM‑softmax损失函数进行训练，最后通过嵌入模型与识别模型相似度计算实现端到端文本无关声纹识别过程。从而提高端到端文本无关声纹识别的准确率和适用性。

技术领域

本发明涉及语音信号处理及深度学习领域，尤其涉及一种端到端的文本无关声纹识别方法及系统。

背景技术

信息化迅速发展的今天，身份识别的需求越来越广泛。声纹识别是一种生物识别技术，它利用人类语音的独特特征对身份进行识别，作为第三大生物特征识别技术，声纹识别开始进入人们的生活。目前声纹识别技术已经在部分银行投入使用，用户登录手机银行APP，进行转账、支付等交易。以新出现的声纹识别为例，除了进入金融领域、侦查领域外，也开始进入公共安全、智能家居、智能汽车、智慧教育、智能社区等行业，让相关行业在原有识别技术的基础上实现了互补、突破和语音智能化等。声纹识别也是实现人机交互第一关键技术点。

本申请发明人在实施本发明的过程中，发现现有技术中存在如下技术问题：

基于目前技术对原始语音信号的特征提取方法不够成熟，由此，在进行文本无关的声纹识别过程中识别精准度仍然需要提高。上述现有技术中常用的文本无关声纹识别主要还是基于传统的语音特征提取方法，如：MFCC、FBank等，或者是模型的融合和叠加，这样的文本无关声纹识别方法识别精准度仍然不高或过于复杂的模型增加了延时而无法应用于工业界，影响用户的体验和感受。

发明内容

本发明提出了一种端到端的文本无关声纹识别方法及系统，用于解决或者至少部分解决现有技术中的方法存在声纹识别精度不高的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种端到端的文本无关声纹识别方法，包括：

S1：获取大量的说话人语音数据，作为训练数据集；

S2：构建声纹识别模型，其中，声纹识别模型包括帧级特征提取层、话语级特征提取层、高阶注意力池化层以及全连接层，帧级特征提取层包括三个时延神经网络TDNN，用于提取输入语音数据中的帧级特征；话语级特征提取层包括三个门控循环单元GRU，用于对帧级特征进行全局特征提取和时序表示，生成话语级特征；高阶注意力池化层包括高阶统计池化层和高阶注意力池化层，高阶统计池化层用于将话语级特征提取层输出的话语级特征拼接成句级说话人表示，高阶注意力池化层用于对帧级特征提取层输出的帧级特征进行加权计算，得到帧级说话人嵌入；全连接层用于将句级说话人表示与帧级说话人嵌入进行拼接，得到全面的说话人表示；

S3：将训练数据集输入声纹识别模型，并构建AM-softmax损失函数进行训练，得到训练好的声纹识别模型；

S4：利用训练好的声纹识别模型对输入语音进行识别。

在一种实施方式中，第一个TDNN网络设有基于sinc函数的滤波器，该滤波器用于对原始语音的输入波形和有限脉冲响应之间执行时域卷积，用以提取最具表征说话人稳定性和唯一性的声纹特征。

在一种实施方式中，第二个TDNN网络和第三个TDNN网络用于根据第一个TDNN网络的输出，通过多层次卷积操作提取局部语音特征，得到最终的帧级特征。

在一种实施方式中，GRU用于对帧级特征提取层输出的帧级特征通过卷积、池化和聚合操作，提取说话人嵌入，作为话语级特征。

在一种实施方式中，步骤S3中构建AM-softmax损失函数为：