[发明专利]一种基于自适应注意力机制和渐进式学习的单声道语音增强方法

说明书

本发明属于语音增强技术领域，具体提供一种基于自适应注意力机制和渐进式学习的单声道语音增强方法，用以解决现有基于CNN的语音增强模型因固定感受野导致泛化能力差的问题。本发明根据注意力机制构建得到自适应卷积模块(AACB)，模块中并行构建多个感受野的卷积层，并根据输入特征信息为每个卷积层提取的特征分配权重，经过加权拼接实现模块的感受野的自适应调节，有效克服传统卷积模块固定感受野带来的特征提取的局限性问题；同时，本发明基于所述自适应卷积模块构建得到语音增强模型，并采用渐进式学习框架实现的复用，减小模型复杂度。综上，本发明能够适应不同环境下的语音特征提取，显著提升语音增强的泛化性和鲁棒性。

技术领域

本发明属于语音增强技术领域，具体提供一种基于自适应注意力机制和渐进式学习的单声道语音增强方法。

背景技术

语音增强旨在通过分离语音和噪声成分来提高语音信号的可懂度和清晰度，对自动语音识别技术、助听器、移动设备等产业产生巨大影响，从而受到了极大的关注；近些年得益于深度学习的进步，业界内有关语音增强的研究显著增加，大量基于深度学习的方法实现了干净语音与噪声有效分离。

多层的深度神经网络(DNN)被用于从带噪对数功率谱到干净语音的非线性映射来对语音进行增强，证明了深度神经网络在语音增强任务上的有效性；与基于DNN的模型相比，卷积神经网络(CNN)由于其参数共享机制在参数更少的情况下获得了很好的性能。CNN在语音增强中有多种用处，包括使用冗余卷积编解码器模型来映射干净语音信号及使用基于CNN的模型来估算干净语音的复数谱图；进一步的，CNN和递归神经网络(RNN)的联合使用可以充分利用CNN的特征提取能力和RNN的时间建模能力；另外，有关学者还提出了带有门控和残差机制的扩张卷积模型以提高泛化能力。

感受野是决定卷积神经网络某一层中每个单元的值的输入区域，会极大地影响CNN模型的性能，使用不同尺寸的感受野可以从不同特征提取维度进行特征提取；在感受野较小的情况下，模型学习如何分辨噪声语音和干净语音对应区域，从而实现更准确的语音分离，而大的感受野使模型能够学习干净语音信号边缘的信息。然而，上述基于CNN的语音增强模型均采用固定感受野，固定感受野的局限性则使得模型无法适应不同环境的语音信号，导致语音增强的性能下降，即模型泛化能力差。

发明内容

本发明的目的在于针对现有基于CNN的语音增强模型由于一般卷积神经网络的感受野固定的特性而导致的泛化能力差的问题，提出一种基于自适应注意力机制和渐进式学习的单声道语音增强方法；该方法基于图像恢复领域中的注意力机制构建得到基于注意力的自适应卷积模块(AACB)，使之能够根据输入特征图的特征信息自适应调节模块的感受野，进而实现语音信号特征的组适应提取；进一步基于自适应卷积模块(AACB)构建单声道语音增强模型与渐进式学习模型，实现噪声环境下的语音增强。

为实现上述目的，本发明采用的技术方案为：

一种基于自适应注意力机制和渐进式学习的单声道语音增强方法，包括以下步骤：

步骤1：对原始语音信号进行短时傅里叶变换得到原始语谱图；

步骤2：将原始语谱图输入单声道语音增强模型，由单声道语音增强模型输出第一阶段特征图；

步骤3：将原始语谱图与第一阶段特征图进行融合得到混合特征图；

步骤4：将混合特征图输入单声道语音增强模型，由单声道语音增强模型输出第二阶段特征图；

步骤5：对第二阶段特征图进行反短时傅里叶变换得到增强语音信号。

进一步的，所述步骤3的具体过程为：

步骤3-1：将原始语谱图与第一阶段特征图进行拼接，得到拼接特征图；

步骤3-2：将拼接特征图输入卷积记忆门控单元(convGRU)，由卷积记忆门控单元输出混合特征图。