[发明专利]语音增强方法、语音识别方法、说话人识别方法和系统

权利要求书

1.一种语音增强方法，其特征在于，包括以下步骤：

S100：基于纯净语音、纯净噪声和散射噪声生成双麦远场带噪语音；以及基于纯净语音生成多个目标语音，并记录多个目标语音方位；

S200：将空间方位均匀地划分为若干个目标区域；基于若干个目标区域对所述多个目标语音方位进行标签化，获得标签化目标语音方位；

S300：从所述标签化目标语音方位提取所述双麦远场带噪语音的特征，以获得每个目标区域的特征；

S400：构建掩蔽神经语音增强模型；基于每个目标区域的特征、目标语音以及标签化目标语音方位训练所述掩蔽神经语音增强模型，从而获得训练好的掩蔽神经语音增强模型；所述掩蔽神经语音增强模型包括编码器、空间注意力模块、解码器和神经波束；

S500：基于所述训练好的掩蔽神经语音增强模型增强语音信号。

2.根据权利要求1所述的语音增强方法，其特征在于，所述步骤S200中基于若干个目标区域对所述多个目标语音方位进行标签化包括：

将若干个目标区域进行离散化，标记为方位标签；基于方位标签对目标语音方位进行标签化，获得标签化目标语音方位。

3.根据权利要求1所述的语音增强方法，其特征在于，所述步骤S400中基于每个目标区域的特征、目标语音以及标签化目标语音方位训练所述掩蔽神经语音增强模型包括以下子步骤：

S410：将每个目标区域的特征输入掩蔽神经语音增强模型，以获得估计的目标语音方向和增强语音；

S420：基于所述标签化目标语音方位和所述估计的目标语音方向，以及所述目标语音和所述增强语音训练所述掩蔽神经语音增强模型，以获得训练好的掩蔽神经语音增强模型。

4.根据权利要求3所述的语音增强方法，其特征在于，所述步骤S410包括：

所述编码器对每个目标区域的特征进行编码，从而获得每个目标区域的特征编码表示；

所述空间注意力模块基于每个目标区域的特征编码表示和上一时刻解码器的解码状态，计算当前时刻的空间注意力权重，并基于所述当前时刻的空间注意力权重对所述每个目标区域的特征编码表示进行加权求和，得到空间聚合的表示向量；选择注意力权重最大的方向作为估计的目标语音方向；

所述解码器基于所述空间聚合的表示向量预测目标语音的时频掩蔽，以得到估计的时频掩蔽；

选择所述估计的目标语音方向所对应的神经波束对双麦远场带噪语音进行空间滤波，以获得空间滤波增强的信号；将所述估计的时频掩蔽应用于所述空间滤波增强的信号，从而获得增强语音。

5.根据权利要求3所述的语音增强方法，其特征在于，所述步骤S420包括：

基于所述目标语音和所述增强语音进行计算语音增强损失；以及基于所述标签化目标语音方位和所述估计的目标语音方向计算交叉熵方位分类损失；以所述语音增强损失和所述交叉熵方位分类损失为优化目标对所述编码器、空间注意力模块、解码器和神经波束进行联合训练。

6.一种语音增强系统，其特征在于，包括数据生成模块、标签化模块、特征提取模块、模型构建及训练模块和语音增强模块；

所述数据生成模块用于基于纯净语音、纯净噪声和散射噪声生成双麦远场带噪语音；以及基于纯净语音生成多个目标语音，并记录多个目标语音方位；

所述标签化模块用于将空间方位均匀地划分为若干个目标区域；基于若干个目标区域对所述多个目标语音方位进行标签化，获得标签化目标语音方位；

所述特征提取模块用于从所述标签化目标语音方位提取所述双麦远场带噪语音的特征，以获得每个目标区域的特征；

所述模型构建及训练模块用于构建掩蔽神经语音增强模型；基于每个目标区域的特征、目标语音以及标签化目标语音方位训练所述掩蔽神经语音增强模型，从而获得训练好的掩蔽神经语音增强模型；

所述语音增强模块用于基于所述训练好的掩蔽神经语音增强模型增强语音信号。