[发明专利]一种基于多尺度上下文的单通道语音增强方法

说明书

一种基于多尺度上下文的单通道语音增强方法，本发明涉及单通道语音增强方法。本发明是为了解决现有单通道语音增强中，带噪相位与增强频谱不匹配、语音特征和语音增强任务不匹配、以及未有效考虑语音中多尺度上下文信息的问题。过程为：步骤一、对语音进行标准化；步骤二、计算全卷积网络第一层语音特征；步骤三、计算全卷积网络第l层语音特征，l取整数；步骤四、综合多层语音特征，构成多尺度语音特征；步骤五、根据多尺度语音特征，预测纯净语音波形。本发明用于语音增强领域。

技术领域

本发明涉及单通道语音增强方法，具体是一种直接在时域上进行的基于多尺度上下文信息的单通道语音增强方法。

背景技术

随着语音信号处理技术的迅猛发展，计算机需要处理的语音信号种类和环境也急剧增加。如何能够自动、准确的将语音从纷繁复杂的噪声环境中提取出来并进行增强，就成为一个既重要又具有挑战性的研究课题。语音增强技术一方面作为语音识别、说话人识别，以及关键词识别等语音信号处理技术的前端处理，能够显著提升这些技术对噪声的鲁棒性；另一方面能够提升噪声环境下听者主观的语音可懂度和语音质量。因此，语音增强在实际生活中具有广阔的应用前景。单通道语音增强技术是指只使用单麦克风录制的语音信号，将目标语音从噪声环境中提取并进行增强的技术。相对于多通道语音增强技术，单通道技术具有对设备要求低、实用性强的优点。

近年来，单通道语音增强被看作频域的有监督学习任务，并获得了显著进步。然而将其视为频域的有监督学习任务存在着如下问题：(1)频域上的语音增强仅对语音频谱进行增强，而语音信号是一种时域信号，还需要将增强后的频域信号转换到时域，这一转换过程中引入了带有噪声干扰的相位，这样的带噪相位与增强后的频谱不匹配，从而引入了语音畸变，进而影响了语音质量；(2)频域上的语音增强技术中，采用的语音特征多是基于人耳听觉机理的特征，并非专门为语音增强任务设计的特征，这会造成输入特征和语音增强任务的不匹配，影响增强效果；(3)语音中包含时间上不同尺度的信息，既有大尺度的语义信息，也有小尺度的语音细节纹理，目前的语音增强方法并没有很好地考虑并利用这些多尺度信息。

发明内容

本发明是为了解决现有单通道语音增强中，带噪相位与增强频谱不匹配、语音特征和语音增强任务不匹配、以及未有效考虑语音中多尺度上下文信息的问题，而提出一种基于多尺度上下文的单通道语音增强方法。

一种基于多尺度上下文的单通道语音增强方法具体过程为：

步骤一、对语音进行标准化；

步骤二、计算全卷积网络第一层语音特征；

步骤三、计算全卷积网络第l层语音特征，l取整数；

步骤四、综合多层语音特征，构成多尺度语音特征；

步骤五、根据多尺度语音特征，预测纯净语音波形。

本发明的有益效果为：

本发明省略频域与时域之间的转换，直接研究在时域上进行的基于多尺度上下文信息的单通道语音增强方法，既有理论意义又有现实意义。

本发明针对单通道语音增强，提出了一种更加直接，高效的时域语音增强方法，提高语音听觉上的质量和可懂度。

对语音的时域表示(语音波形)，采用一种全新设计的深度全卷积神经网络，利用语音的多尺度上下文信息对语音进行增强。本发明神经网络以带噪语音波形作为输入，在网络的底层直接对语音波形进行建模，并提取语音特征。随后在网络的高层，利用这些语音特征进行语音增强。这样就将语音特征的提取过程与增强模型融合到一个神经网络中，便可以同时学习增强模型和语音特征提取过程，从而避免了语音特征和语音增强任务不匹配的问题。

本发明中的神经网络以增强后的语音波形作为输出，不再根据频谱和相位合成语音。由于语音波形中既包含频谱信息也包含相位信息，这样便同时对语音的频谱和相位进行了增强，从而避免了带噪相位与增强频谱不匹配的问题。