[发明专利]一种话者分离方法、装置、电子设备和存储介质

权利要求书

1.一种话者分离方法，包括：

对目标音频进行分帧，得到多个连续的音频帧；

根据当前音频帧的音频特征和上一个音频帧的语义信息，通过变化点预测模型预测当前音频帧的语义信息和话者变化点信息；

根据所述语义信息和所述话者变化点信息对所述目标音频进行分割，得到多个音频片段；

确定音频片段对应的第一相似性矩阵；

根据所述话者变化点信息和所述第一相似性矩阵构建音频片段对应的第二相似性矩阵；

对所述第二相似性矩阵进行聚类，得到所述音频片段按照话者分类的结果。

2.根据权利要求1所述的方法，其中，若所述当前帧为所述多个连续的音频帧中的第一个音频帧，则所述通过变化点预测模型预测当前音频帧的语义信息和话者变化点信息，包括：

根据所述当前帧的音频特征和起始符，通过变化点预测模型预测当前音频帧的语义信息和话者变化点信息。

3.根据权利要求1所述的方法，其中，根据所述语义信息和所述话者变化点信息对所述目标音频进行分割，包括：

若连续的两个音频帧中的一个音频帧的语义信息为空，则所述两个音频帧之间为分割点；

若一个音频帧对应的话者变化点信息满足设定条件，则该音频帧和前一个音频帧之间为分割点；

按照所述分割点对所述目标音频进行分割。

4.根据权利要求3所述的方法，其中，所述按照所述分割点对所述目标音频进行分割，得到多个音频片段后，该方法还包括：

从所述多个音频片段中选择语义信息不为空的所有音频片段；

相应的，所述确定音频片段对应的第一相似性矩阵，包括：

确定语义信息不为空的所有音频片段的第一相似性矩阵。

5.根据权利要求1或4所述的方法，其中，所述确定所有音频片段对应的第一相似性矩阵，包括：

通过特征编码模型预测每个所述音频片段的话者特征；

基于所述话者特征，计算两两音频片段之间的相似度，得到第一相似性矩阵。

6.根据权利要求4所述的方法，其中，所述根据所述话者变化点信息和所述第一相似性矩阵构建音频片段对应的第二相似性矩阵，包括：

根据话者变化点信息构建第一约束矩阵，并对所述第一相似性矩阵进行标准化处理，得到标准化相似性矩阵；

基于所述标准化相似性矩阵和所述第一约束矩阵构建第二约束矩阵；

根据所述第二约束矩阵和所述第一相似性矩阵构建第二相似性矩阵。

7.根据权利要求6所述的方法，其中，所述第一约束矩阵的行数和列数均为语义信息不为空的音频片段的数量，所述第一约束矩阵中的元素用于表示两个音频片段之间是否连接和/或是否相邻。

8.根据权利要求7所述的方法，其中，所述根据话者变化点信息构建第一约束矩阵，包括：

若当前音频片段和相邻的下一个音频片段之间存在语义为空的音频片段，则判断语义为空的音频片段对应的话者变化点信息是否满足所述设定条件，若不满足所述设定条件，确定所述当前音频片段和下一个音频片段之间连接，若满足所述设定条件，确定当前音频片段和下一个音频片段之间不连接；

若当前音频片段和相邻的下一个音频片段之间不存在语义为空的音频片段，则确定当前音频片段和下一个音频片段之间不连接；

根据两个相邻音频片段之间是否连接，构建所述第一约束矩阵。

9.一种模型的训练方法，包括：

采集多条样本音频数据；

获取每条所述样本音频数据的音频特征，并对每条所述样本音频数据进行话者变化点标注；

对每条所述样本音频数据进行转化，得到对应的样本文本数据，并对所述样本文本数据进行语义标注；

根据所述语义标注的样本文本数据、所述音频特征和所述标注的话者变化点对变化点预测模型进行训练直至收敛。