[发明专利]一种话者分离方法、装置、电子设备和存储介质

说明书

本公开提供了一种话者分离方法、装置、电子设备和存储介质，涉及人工智能领域，尤其涉及语音技术领域和智能客服领域。具体实现方案为：对目标音频进行分帧，得到多个连续的音频帧；根据当前音频帧的音频特征和上一个音频帧的语义信息，通过变化点预测模型预测当前音频帧的语义信息和话者变化点信息；根据所述语义信息和所述话者变化点信息对所述目标音频进行分割，得到多个音频片段；确定音频片段对应的第一相似性矩阵；根据所述话者变化点信息和所述第一相似性矩阵构建音频片段对应的第二相似性矩阵；对所述第二相似性矩阵进行聚类，得到所述音频片段按照话者分类的结果。通过本公开能够提高对音频进行话者分离的准确性。

技术领域

本公开涉及人工智能技术领域，尤其涉及语音技术领域和智能客服领域，具体涉及一种话者分离方法、装置、电子设备和存储介质。

背景技术

在智能客服、会议讨论、访谈对话、公安审讯、综艺节目等场景中，单个声道上通常有多个说话人、即话者，通常需要对录制下来的音频进行话者分离，得到每个人说话的音频数据，然后再进行针对性的分析。

发明内容

本公开提供了一种话者分离的方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种话者分离方法，包括：

对目标音频进行分帧，得到多个连续的音频帧；

根据当前音频帧的音频特征和上一个音频帧的语义信息，通过变化点预测模型预测当前音频帧的语义信息和话者变化点信息；

根据所述语义信息和所述话者变化点信息对所述目标音频进行分割，得到多个音频片段；

确定音频片段对应的第一相似性矩阵；

根据所述话者变化点信息和所述第一相似性矩阵构建音频片段对应的第二相似性矩阵；

对所述第二相似性矩阵进行聚类，得到所述音频片段按照话者分类的结果。

其中，若所述当前帧为所述多个连续的音频帧中的第一个音频帧，则所述通过变化点预测模型预测当前音频帧的语义信息和话者变化点信息，包括：

根据所述当前帧的音频特征和起始符，通过变化点预测模型预测当前音频帧的语义信息和话者变化点信息。

其中，根据所述语义信息和所述话者变化点信息对所述目标音频进行分割，包括：

若连续的两个音频帧中的一个音频帧的语义信息为空，则所述两个音频帧之间为分割点；

若一个音频帧对应的话者变化点信息满足设定条件，则该音频帧和前一个音频帧之间为分割点；

按照所述分割点对所述目标音频进行分割。

其中，所述按照所述分割点对所述目标音频进行分割，得到多个音频片段后，该方法还包括：从所述多个音频片段中选择语义信息不为空的所有音频片段；

相应的，所述确定音频片段对应的第一相似性矩阵，包括：确定语义信息不为空的所有音频片段的第一相似性矩阵。

其中，所述确定所有音频片段对应的第一相似性矩阵，包括：

通过特征编码模型预测每个所述音频片段的话者特征；

基于所述话者特征，计算两两音频片段之间的相似度，得到第一相似性矩阵。

其中，所述根据所述话者变化点信息和所述第一相似性矩阵构建音频片段对应的第二相似性矩阵，包括：

根据话者变化点信息构建第一约束矩阵，并对所述第一相似性矩阵进行标准化处理，得到标准化相似性矩阵；

基于所述标准化相似性矩阵和所述第一约束矩阵构建第二约束矩阵；