[发明专利]一种基于多类谱图特征注意力融合网络的说话人识别方法

说明书

本发明公开了一种基于多类谱图特征注意力融合网络的说话人识别方法，采用改进的34层残差网络和3DCNN残差网络作为识别模型，将语音信号分别转化为语谱图、Mel‑Fbank谱图和Gam‑Fbank谱图作为网络的训练特征图，利用34层残差网络提取三种谱图的空间特征，接着将三种谱图堆叠后利用3DCNN残差网络提取谱图间相互关联特征，并在上述网络模型后端引入通道注意力机制，使得网络自主学习如何生成最佳特征向量，接着将四个模型生成的特征向量进行融合，最后将融合后的特征向量与数据库中的说话人特征向量进行余弦距离比较，以确定说话人身份。本发明弥补了说话人特征因单一而无法准确表达的缺陷，从而有效的提升了说话人识别的准确率。

技术领域

本发明涉及声纹识别领域，具体的说，涉及一种基于多类谱图特征注意力融合网络的说话人识别方法。

背景技术

说话人识别也称为声纹识别，是指通过对说话人语音信号的分析处理，确认说话人是否属于所记录的说话人集合，以及进一步确认说话人是谁。按其最终完成的任务不同，说话人识别可以分为两类：说话人确认和说话人辨认。

说话人识别领域应用十分广泛，包括公安领域、金融领域、军事领域以及医疗领域等等。但传统的说话人识别技术(如GMM-UBM、GMM-SVM、JFA、i-vector等)准确率低、鲁棒性弱、实用性不强，无法满足当前实际应用要求。近年来深度学习在特征表达和模式分类方面表现优异，为说话人识别技术的进一步发展提供了新方向。

单一的说话人特征无法较好的完整表达说话人身份，不能完整的表示说话人语音在不同维度上的信息，可能会产生过拟合。除单一特征外，许多学者将一个深度网络中不同层的输出作为特征，以此来丰富说话人的身份特征，但特征间冗余度较高，同时也会极大增加系统的计算量。因此，目前说话人识别算法无法较好的表达说话人身份信息，其识别的准确率有待提高。

发明内容

本发明针对现有技术存在的不足，提供了一种基于多类谱图特征注意力融合网络的说话人识别方法，只需将语音信号变换成三种不同的谱图，并将三种谱图在空间上进行堆叠，依次训练三个34层残差网络和一个3DCNN残差网络模型，最后将输出的特征向量进行融合识别，有效的解决了单一特征无法完整表达说话人身份的问题，提高了说话人识别的准确率。

本发明的具体技术方案如下：

一种基于多类谱图特征注意力融合网络的说话人识别方法，如图1所示，包括以下步骤：

步骤1：对语音信号进行端点检测，目的是去除收集到的语音所包含的静音片段，消除无声段噪声；

步骤2：对消除静音片段后的语音信号进行预加重，目的是去除口唇辐射的影响，增加语音的高频分辨率；

步骤3：对预加重后的语音信号进行分帧，由于语音信号在“短时间”内可以认为是稳态的、时不变的，所以在进行语音信号处理前需要分帧，帧长一般取10～30ms，并且为了使特征参数平滑地变化，往往设置在相邻的两帧之间有一部分重叠；

步骤4：对分帧后的每帧语音信号进行加窗，目的是为了减少语音信号截断导致的频谱泄露；

步骤5：对处理好的每一帧时域信号通过离散傅里叶变换或快速傅里叶变换得到语音的频谱；

步骤6：分别计算生成语音信号的语谱图、Mel-Fbank谱图和Gam-Fbank谱图；

步骤7：分别利用语谱图、Mel-Fbank谱图和Gam-Fbank谱图作为神经网络的输入，训练三个残差34层网络模型；

步骤8：将三种谱图堆叠成谱图立方体作为神经网络的输入，训练3DCNN残差网络模型；

步骤9：在上述四个模型后端分别引入注意力机制，目的是分配给每个通道不同的权重，让网络关注重要的特征，抑制不重要的特征，从而生成最佳特征向量。