[发明专利]语音分离方法、语音分离装置、电子设备及存储介质

说明书

本申请提供一种语音分离方法、语音分离装置、电子设备及存储介质，语音分离方法包括：获取原始音频，并以时间窗口滑窗的方式从原始音频中提取语谱图特征序列；将语谱图特征序列输入到预先训练好的语音分割模型中，通过语音分割模型获取嵌入特征序列；将嵌入特征序列输入到预先训练好的语音聚类模型中，通过语音聚类模型获得与嵌入特征序列对应的预测标签序列；根据预测标签序列进行单个说话人语音还原，生成分离的语音。根据本申请的语音分离方法、语音分离装置、电子设备及存储介质解决了语音分离效果不理想的问题，能够从多人交替发言的短时语音音频文件中分离出属于单个说话人的语音片段，并且能够联系上下文信息准确估计说话人数量。

技术领域

本申请涉及语音处理技术领域，尤其是涉及一种语音分离方法、语音分离装置、电子设备及存储介质。

背景技术

“鸡尾酒会问题”是计算机语音处理领域的经典问题，“鸡尾酒会问题”指的是，当单个说话人发言时，语音识别技术往往能够准确识别出说话人所讲内容，但是当场景中包含多个说话人时，语音识别的准确度会大幅降低。

一般来说，待分离的音频中会包含大量短时语音，由于短时语音包含信息少、区分性不高，导致语音分离难度较大，并且由于无法联系上下文信息准确估计说话人数量，导致分离效果不理想。

发明内容

鉴于现有的语音识别技术难以分离短时语音并且无法联系上下文信息准确估计说话人数量的问题，本申请提供一种语音分离方法、语音分离装置、电子设备及存储介质。

根据本申请的第一方面，提供一种语音分离方法，所述语音分离方法包括：获取原始音频，并以时间窗口滑窗的方式从所述原始音频中提取语谱图特征序列；将所述语谱图特征序列输入到预先训练好的语音分割模型中，通过所述语音分割模型获取嵌入特征序列；将所述嵌入特征序列输入到预先训练好的语音聚类模型中，通过所述语音聚类模型获得与所述嵌入特征序列对应的预测标签序列；根据所述预测标签序列进行单个说话人语音还原，生成分离的语音。

可选地，可以通过以下方式训练语音聚类模型：获取多组原始音频样本，其中，每组原始音频样本中包括分别属于多个说话人的多个单说话人原始音频样本；从所述多组原始音频样本中的每组原始音频样本获取训练嵌入特征样本序列；利用所述多组原始音频样本的多个训练嵌入特征样本序列对所述语音聚类模型进行训练，其中，通过以下方式获取所述训练嵌入特征样本序列：以时间窗口滑窗的方式从每组原始音频样本的每个单说话人原始音频样本中提取每个说话人的语谱图特征样本；将每个说话人的语谱图特征样本输入到预先训练好的语音分割模型中，获得每个说话人的训练嵌入特征样本；将所述多个说话人的训练嵌入特征样本进行随机拼接，获取包括多个训练嵌入特征样本的训练嵌入特征样本序列。

可选地，利用所述多组原始音频样本的多个训练嵌入特征样本序列对所述语音聚类模型进行训练，可以包括：对所述多个训练嵌入特征样本序列中的每个训练嵌入特征样本序列进行说话人身份标签标注，确定测试标签样本序列；基于所述多个训练嵌入特征样本序列中的每个训练嵌入特征样本序列，利用语音聚类模型获取训练预测标签序列；基于所述训练预测标签序列和所述测试标签样本序列，根据先验概率，对所述语音聚类模型进行训练，其中，所述先验概率是指根据已预测的训练预测标签确定的下一个预测的训练预测标签发生变化的概率。

可选地，所述先验概率包括说话人标签分配序列概率，可以通过以下方式确定说话人标签分配序列概率：根据已预测的训练预测标签中的发生说话人变更的次数和已预测的训练预测标签的总数量，确定所述说话人标签分配序列概率。

可选地，根据已预测的训练预测标签中的发生说话人变更的次数和已预测的训练预测标签的总数量，确定所述说话人标签分配序列概率，包括：根据已预测的训练预测标签中的发生说话人变更的次数和已预测的训练预测标签的总数量，确定所述说话人标签分配序列概率的统计参数；根据所述统计参数，确定所述说话人标签分配序列概率，其中，所述统计参数可以表示为：