[发明专利]声源分离方法及装置、神经网络的模型训练方法及装置

说明书

一种声源分离方法、神经网络的模型训练方法、声源分离装置、神经网络的模型训练装置和存储介质。声源分离方法包括：获取混合音频；确定与混合音频对应的声源标签组；根据声源标签组，确定条件向量组；将条件向量组和混合音频输入至第一神经网络进行声源分离处理以得到目标声源组，其中，目标声源组中的目标声源与条件向量组的条件向量一一对应。

技术领域

本公开的实施例涉及一种声源分离方法、神经网络的模型训练方法、声源分离装置、神经网络的模型训练装置和存储介质。

背景技术

声源分离是一种用于分离录音中的声源的技术。声源分离是计算听觉场景分析(computational auditory scene analysis，CASA)系统的基础。本质上，CASA系统旨在以与人类收听者相同的方式分离混合音频中的声源。CASA系统可以检测并将混合音频进行分离以得到不同的声源。因为世界上存在大量的声音事件，多个不同的声音事件可能同时发生，从而导致众所周知的鸡尾酒会问题。可以使用平均谐波结构建模的无监督方法和基于神经网络的方法等来进行声源分离。神经网络的方法包括全连接神经网络、卷积神经网络(CNN)和递归神经网络(RNN)等。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开至少一实施例提供一种声源分离方法，包括：获取混合音频；确定与所述混合音频对应的声源标签组；根据所述声源标签组，确定条件向量组；将所述条件向量组和所述混合音频输入至第一神经网络进行声源分离处理以得到目标声源组，其中，所述目标声源组中的目标声源与所述条件向量组的条件向量一一对应。

本公开至少一实施例还提供一种神经网络的模型训练方法，包括：获取训练样本集，其中，所述训练样本集包括多个训练数据组，每个训练数据组包括训练混合音频、多个训练音频片段和多个第一训练条件向量，所述训练混合音频包括所述多个训练音频片段，所述多个第一训练条件向量与所述多个训练音频片段一一对应；利用所述训练样本集，对待训练的第一神经网络进行训练，以得到第一神经网络，其中，所述待训练的第一神经网络包括损失函数，其中，利用所述训练样本集，对所述待训练的第一神经网络进行训练，以得到所述第一神经网络包括：从所述训练样本集中获取当前训练数据组，其中，所述当前训练数据组包括当前训练混合音频和多个当前训练音频片段，所述当前训练混合音频包括所述多个当前训练音频片段；确定与所述多个当前训练音频片段一一对应的多个第一当前训练条件向量，其中，所述当前训练数据组还包括所述多个第一当前训练条件向量，将所述当前训练混合音频和所述多个第一当前训练条件向量输入至所述待训练的第一神经网络进行声源分离处理，以得到多个第一当前训练目标声源；根据所述多个第一当前训练目标声源和所述多个当前训练音频片段，计算所述待训练第一神经网络的损失函数的第一损失值；根据所述第一损失值对所述待训练的第一神经网络的参数进行修正，在所述损失函数满足预定条件时，得到训练完成的所述第一神经网络，在所述损失函数不满足所述预定条件时，继续输入所述当前训练数据组以重复执行上述训练过程。

本公开至少一实施例还提供一种声源分离装置，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行根据上述任一实施例所述的声源分离方法。

本公开至少一实施例还提供一种模型训练装置，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行根据上述任一实施例所述的模型训练方法。

本公开至少一实施例还提供一种存储介质，非暂时性地存储计算机可读指令，当所述计算机可读指令由计算机执行时可以执行根据上述任一实施例所述的声源分离方法。

附图说明