[发明专利]一种融合语音增强的语音识别方法

权利要求书

1.一种融合语音增强的语音识别方法，其特征在于，包括如下步骤：

S1、采用公开数据集和公开噪声数据作为模型训练数据，然后根据SNR的大小对语音数据和噪声数据进行混合，得到共N条带噪语音，模拟出近似于实际环境下的受干扰的语音，并按8∶2的比例划分为训练数据和测试数据；

S2、构建语音增强模型对S1建立的混合语音训练集和测试集进行语音增强，增强模型采用堆叠式双信号转换长短时记忆网络结构DTLN，由频域分离核心和时域分离核心两个分离核心串联组成，对混合语音进行频域和时域上的降噪处理，实现实时增强功能；

S3、混合语音首先通过第一阶段的频域分离核心，以训练集中第i条混合语音为例，输入为混合语音的时域信号xi(n)，n为语音数据的采样点数；先对xi(n)进行预加重处理，提升信号中高频成分的幅值信息；然后采用短时傅立叶变化对xi(n)进行时频转换为Xi(m,ω)·ejφi(m,ω)，其中Xi(m,ω)、φi(m,ω)分别为混合语音第m帧的幅度谱数据和相位数据，短时傅立叶变化变换过程中加汉明窗进行分帧，帧长和帧移分别设置为32ms、8ms，FFT点数取512；再将大小为[总帧数，256]的数据送入两层的长短时记忆网络用以提取时序相关的特征，每层长短时记忆网络神经元设置为128，得到大小为[总帧数，128]的特征向量；再经过一个全连接层和Sigmoid激活函数层得到大小为[总帧数，256]的时频掩码；最后与输入的幅度谱数据进行点乘获得频域降噪后的幅度谱；

S4、将S3获得的增强幅度谱数据送入第二阶段时域分离核心进行时域降噪，首先利用短时傅立叶逆变换将增强幅度谱转换回时域数据，相位采用混合相位φi(m,ω)；然后经过一个一维卷积层，卷积核设置为256，得到时域卷积特征[总帧数，256]；再对每帧数据进行单独归一化；然后经过与第一阶段相同设置的两个长短时记忆网络层+全连接层+Sigmoid激活函数层得到时域掩码，再与一维卷积输出结果相乘实现时域降噪；最后通过一个一维卷积网络还原数据为[总帧数，512]维度，通过重叠相加得到最终的增强语音yi(n)；

S5、采用最小二乘损失函数衡量目标语音与增强语音间的差距，依据误差进行过梯度反传来更新网络参数，至此实现语音增强模块功能；

S6、通过TDNN模型训练得到声学模型，在最终文本输出之前先进行标点符号预测和数字转换出处理，最终实现输入语音输出自然可懂规范的文本。

2.根据权利要求1所述的一种融合语音增强的语音识别方法，其特征在于，所述S1中训练数据和测试数据的采样率均设置为16kHz，且构建混合语音的公式为：

3.根据权利要求1所述的一种融合语音增强的语音识别方法，其特征在于，所述S1中语音识别模块训练使用的语音特征是MFCC，其过程包括预加重，分帧，加窗，快速傅里叶变换，Mel滤波器组，对数运算和离散余弦变换处理。

4.根据权利要求1所述的一种融合语音增强的语音识别方法，其特征在于，还包括语音识别模块声学模型部分，所使用的模型是在前馈神经网络的基础上，进一步引入能够在各个隐藏层之间加入不同前后帧信息的时延深度神经网络和链式模型。

5.根据权利要求1所述的一种融合语音增强的语音识别方法，其特征在于，还包括语音识别模块语言模型与词典部分，首先创建一个新的发音词典，将实际业务场景中的词汇以及英文字母添加到识别器的现有发音词典中，通过将新词条目添加到词典中来手动创建新词典，如果没有新单词的发音，则可以使用字素到音素转换来自动生成发音，需要新词典里面的音素和原来识别器里面的音素是对应的，然后再生成语言模型。

6.根据权利要求1所述的一种融合语音增强的语音识别方法，其特征在于，还包括语音识别解码部分，利用声学模型和构建好的WFST解码网络，输出最优状态序列的过程，最终目的是选择使得P(W|X)＝P(X|W)P(W)最大的W，所以解码本质上是一个搜索问题，并借助加权有限状态转换器统一进行最优路径搜索。

7.根据权利要求1所述的一种融合语音增强的语音识别方法，其特征在于，还包括标点符号与数字转换模块，标点添加模块是为了实现语音识别后文本的可读性，使用包含embedding层、双向的长短时记忆网络、最大值池化、条件随机场的网络结构，实现逗号、句号、问号、感叹号四种标点符号的添加；数字转换模块，将包含的中文数字转化为阿拉伯数字后的中文文本。