[发明专利]混叠音处理方法、装置和存储介质

说明书

本公开提供一种混叠音处理方法、装置和存储介质。混叠音处理方法包括：将待识别语音进行分割，以得到多个语音片段；对多个语音片段进行聚类，以得到多个聚类集合，从中选择出第一聚类集合和第二聚类集合；将第一聚类集合中不存在混叠音的语音片段加入第一语音集合，将第一聚类集合中存在混叠音的语音片段加入混叠音集合；将第二聚类集合中不存在混叠音的语音片段加入第二语音集合，将第二聚类集合中的存在混叠音的语音片段加入混叠音集合；利用第一语音集合中的第一语音片段生成第一掩膜，利用第二语音集合中的第二语音片段生成第二掩膜；利用第一掩膜和第二掩膜将混叠音集合中的每个语音片段进行混叠音分离。

技术领域

本公开涉及语音处理领域，特别涉及一种混叠音处理方法、装置和存储介质。

背景技术

随着人工智能技术和互联网技术的迅速发展，越来越多的语音交互场景出现在人们的日常生活中。作为语音信号处理领域中的一项极具挑战性的研究任务，语音分离技术对于语音交互系统在实际复杂声学场景中的应用有着重要作用。目前，基于深度学习的语音分离方法能够有效提升语音分离的性能。

发明内容

发明人注意到，基于深度学习的语音分离方法存在以下问题：(1)针对目标说话人的语音分离，需要采集目标说话人大量的语音样本来生成估计掩膜，以便用估计掩膜进行频域分离；(2)针对说话人无关的语音分离，需要多通道采集音频，且需要预训练生成估计掩膜的神经网络模型，并利用该网络得到不同说话人的估计掩膜，然后结合空间协方差矩阵计算得到分离开的说话人语音信号。客服语音通话通常是单声道音频，且具有混叠音出现时间短、频率高，通话双方身份不固定无法获取足够的语音样本等特点，导致使用现有的语音分离技术很难解决单声道客服语音中的混叠音检测与分离问题。

据此，本公开提供一种混叠音处理方案，能够有效解决单声道语音通话中的混叠音定位与分离问题。

根据本公开实施例的第一方面，提供一种混叠音处理方法，包括：将待识别语音进行分割，以得到多个语音片段；根据每个语音片段的声纹特征对所述多个语音片段进行聚类，以得到多个聚类集合；统计每个聚类集合中的时长大于第一时长门限的语音片段的个数，按照所述个数从大到小的顺序选择前两个聚类集合作为第一聚类集合和第二聚类集合；将所述第一聚类集合中不存在混叠音的语音片段加入第一语音集合，将所述第一聚类集合中存在混叠音的语音片段加入混叠音集合；将所述第二聚类集合中不存在混叠音的语音片段加入第二语音集合，将所述第二聚类集合中的存在混叠音的语音片段加入所述混叠音集合；利用所述第一语音集合中的第一语音片段生成第一掩膜，利用所述第二语音集合中的第二语音片段生成第二掩膜；利用所述第一掩膜和所述第二掩膜将所述混叠音集合中的每个语音片段进行混叠音分离。

在一些实施例中，所述对所述多个语音片段进行聚类包括：利用经过训练的机器学习模型获取所述多个语音片段中的每个语音片段的声纹特征；根据所述声纹特征将所述多个语音片段进行聚类，以得到所述多个聚类集合。

在一些实施例中，所述获取所述多个语音片段中的每个语音片段的声纹特征包括：利用移动窗提取所述多个语音片段中的第i个语音片段中的多个子声纹特征，其中所述移动窗的移动步长小于所述移动窗的长度，1≤i≤I，I为语音片段总数；根据所述多个子声纹特征确定所述第i个语音片段的声纹特征。

在一些实施例中，所述根据所述多个子声纹特征确定所述第i个语音片段的声纹特征包括：计算所述多个子声纹特征的加权平均值，以作为所述第i个语音片段的声纹特征。

在一些实施例中，所述移动窗的移动步长为所述移动窗的长度的1/2。

在一些实施例中，所述第一语音片段的时长和第二语音片段的时长均大于第二时长门限。