[发明专利]一种改进的多通道语音增强系统和方法

权利要求书

1.一种改进的多通道语音增强系统，其特征在于，包括自适应波束形成网络、共享网络和多目标学习网络；

所述自适应波束形成网络用于将采集的多麦信号转换为单通道信号；

所述多目标学习网络包括主任务网络和子任务网络；

所述主任务网络用于以语音频谱的幅度掩蔽为目标进行训练，得到增强后的语音信号；

所述子任务网络用于以语音的bark域倒谱系数为目标进行训练，表征语音信息的特征；

所述共享网络用于将单通道信号通过双向长短期记忆网络，使得系统能够进行时间序列预测，保证主任务网络和子任务网络之间的信息交换。

2.根据权利要求1所述的一种改进的多通道语音增强系统，其特征在于，所述自适应波束形成网络包括1层输入层、2层一维卷积层和1层平均池化层；

所述1层输入层、2层一维卷积层和1层平均池化层用于组成一个卷积神经网络，从而将采集到的多麦信号转换为单通道信号；

其中，输入层的输入为每个麦克风的连续25帧时域信号；

第1层一维卷积层含有128个卷积神经元，第2层一维卷积层含有256个卷积神经元；

第1层一维卷积层不使用丢弃技术，第2层卷积层一维使用丢弃技术来防止网络过拟合，其中丢弃的概率设置为0.2。

3.根据权利要求1所述的一种改进的多通道语音增强系统，其特征在于，所述共享网络和主任务网络均包括多层双向LSTM层，用于缓解神经网络中可能出现的梯度消失和梯度爆炸的问题。

4.根据权利要求1所述的一种改进的多通道语音增强系统，其特征在于，所述共享网络包含1层双向LSTM层，所述双向LSTM层含有832个神经元单元；

所述双向LSTM层用于使得系统能够进行时间序列预测，保证主任务网络和子任务网络之间的信息交换。

5.根据权利要求1所述的一种改进的多通道语音增强系统，其特征在于，所述主任务网络包括2层双向LSTM层和1层输出层；

所述2层双向LSTM层和1层输出层用于以语音频谱的幅度掩蔽为目标进行训练；输出层输出估计的语音频谱幅度掩蔽，用于转换得到连续25帧的纯净语音；

其中，第1层双向LSTM层含有832个神经元，第2层双向LSTM层含有512个神经元，输出层为含有257个神经元的全连接神经元；

主任务网络的损失函数为：

l₁＝|y_preSMM-y_tarSMM| (1)

其中，y_preSMM是主任务估计的语音频谱幅度掩蔽，y_tarSMM是参考语音的频谱幅度掩蔽。

6.根据权利要求5所述的一种改进的多通道语音增强系统，其特征在于，所述子任务网络包括2层全连接层和1层输出层；

2层全连接层分别用于以语音的bark域倒谱系数为目标进行训练；1层输出层输出估计的bark域倒谱系数；

其中，第1层全连接层含有512个神经元，第2层全连接层含有256个神经元，输出层为含有39个神经元的全连接神经元；

子任务网络的损失函数为：

其中，y_preFEA是子任务估计的bark域倒谱系数，y_tarFEA是参考语音的bark域倒谱系数。

7.根据权利要求6所述的一种改进的多通道语音增强系统，其特征在于，所述多目标学习网络的总损失函数为：

l_all＝(1-α)l₁+α·l₂ (3)

其中，α是权重系数。

8.根据权利要求1-7任一所述的一种改进的多通道语音增强系统的语音增强方法，其特征在于，所述方法包括：

a)自适应波束形成网络将采集的多麦信号转换为单通道信号；

b)共享网络将生成的单通道信号进行信息转换；

c)转换后的信号输入多目标学习网络的主任务网络，主任务网络以语音频谱的幅度掩蔽为目标进行训练，得到增强后的语音信号；

d)转换后的信号输入多目标学习网络的子任务网络，子任务网络以语音的bark域倒谱系数为目标进行训练，表征语音信息的特征。