[发明专利]语音信号的分离方法、装置、电子设备及存储介质

说明书

本申请涉及一种语音信号的分离方法、装置、电子设备及存储介质，所述分离方法包括：基于待分离语音信号，生成待分离语音多维向量；所述待分离语音多维向量用以记录所述待分离语音信号的语音特征；通过训练后的语音分离模型，基于所述待分离语音多维向量，生成所述待分离语音多维向量的掩码多维向量；基于所述待分离语音多维向量、掩码多维向量，生成分离后的语音信号；其中，所述语音分离模型包括多个相同的多尺度语音处理模块。所述多尺度语音处理模块包括局部连接模块以及与局部连接模块相连的全局连接模块。上述分离方法可有效提高语音信号的分离效果。

技术领域

本申请涉及语音处理领域，尤其涉及一种语音信号的分离方法、装置、电子设备及存储介质。

背景技术

目前，语音识别技术已应用于多种人机交互场景，例如：实时字幕显示、用户语音自动识别等场景中。但是智能终端搭载的语音识别功能通常对输入语音时的环境要求较高，例如：若用户在较为嘈杂的环境下使用语音识别功能，将极大地降低语音识别功能的识别准确率。因此，语音分离技术已变得愈发重要，但是目前语音分离的鲁棒性较差，不利于语音分离技术的实际应用，进而限制了语音识别技术的应用场景。

发明内容

根据本申请的第一方面，提供了一种语音信号的分离方法，所述分离方法包括：基于待分离语音信号，生成待分离语音多维向量；所述待分离语音多维向量用以记录所述待分离语音信号的语音特征；通过训练后的语音分离模型，基于所述待分离语音多维向量，生成所述待分离语音多维向量的掩码多维向量；基于所述待分离语音多维向量、掩码多维向量，生成分离后的语音信号；其中，所述语音分离模型包括多个相同的多尺度语音处理模块；所述多尺度语音处理模块包括局部连接模块以及与局部连接模块相连的全局连接模块；所述局部连接模块用以提取所述待分离语音多维向量在每一语音粒度等级的语音特征，并将不同语音粒度等级的语音特征融合；所述全局连接模块用以融合所述局部连接模块处理后的每一语音粒度等级的语音特征至最细致语音粒度等级。

在一种可能的实施方式中，所述语音分离模型的训练流程如下：基于训练用的待分离语音信号，生成训练用的待分离语音多维向量；将所述训练用的待分离语音多维向量输入语音分离模型，生成训练用的分离后的语音信号；基于所述训练用的分离后的语音信号、训练用的待分离语音信号对应的真实语音信号，生成损失值；根据所述损失值，更新所述语音分离模型的网络参数。

在一种可能的实施方式中，所述通过训练后的语音分离模型，基于所述待分离语音多维向量，生成所述待分离语音多维向量的掩码多维向量，包括：基于所述待分离语音多维向量，生成待分离语音多维嵌入；基于所述待分离语音多维嵌入，根据预设的激活函数，生成所述待分离语音多维嵌入对应的掩码多维向量；基于所述掩码多维向量、所述待分离语音多维向量，生成分离后的语音信号。

在一种可能的实施方式中，所述基于所述待分离语音多维向量，生成待分离语音多维嵌入，包括：通过第一个多尺度语音处理模块对待分离语音多维向量进行处理，生成中间语音多维向量，并对中间语音多维向量进行直接卷积或相加或级联操作，生成输出向量；通过第一个多尺度语音处理模块之后的各多尺度语音处理模块分别对前一多尺度语音处理模块生成的输出向量进行处理，生成中间语音多维向量，并对中间语音多维向量进行直接卷积或相加或级联操作，生成输出向量；将最后一个多尺度语音处理模块对应的输出向量作为所述待分离语音多维嵌入。

在一种可能的实施方式中，所述局部连接模块包括多个属于不同语音粒度等级的语音特征处理层；所述全局连接模块包括属于最细致语音粒度等级的语音特征处理层。

在一种可能的实施方式中，所述生成中间语音多维向量，包括：在所述局部连接模块中，自细致语音粒度等级至粗糙语音粒度等级，依次传输并更新所述待分离语音多维向量为不同语音粒度等级的待分离语音多维向量；在所述局部连接模块中，自每个语音粒度等级至与之相邻和/或相同的语音粒度等级，传输并更新所述不同语音粒度等级的待分离语音多维向量为局部模块输出多维向量；自所述局部连接模块至所述全局连接模块，通过最细致语音粒度等级的语音特征处理层传输并更新所述局部模块输出多维向量为所述中间语音多维向量。