[发明专利]说话者角色确定方法、装置、设备及存储介质

权利要求书

1.一种说话者角色确定方法，其特征在于，包括：

获取待角色确定音频的各人声语句片段；

获取各所述人声语句片段的音色特征和文本特征；

根据所述音色特征和所述文本特征获取各所述人声语句片段的音色文本融合特征；

利用角色确定模型根据各所述音色文本融合特征确定各所述人声语句片段的说话者角色，

其中，所述根据所述音色特征和所述文本特征获取各所述人声语句片段的音色文本融合特征的步骤包括：

确定当前人声语句片段以及与所述当前人声语句片段相对应的各非当前人声语句片段，其中，各所述非当前人声语句片段为所述待角色确定音频的各所述人声语句片段中，除所述当前人声语句片段以外的各个所述人声语句片段；

获取所述当前人声语句片段的音色特征与各所述非当前人声语句片段的音色特征的各相似度，得到相似度特征向量；

将所述相似度特征向量与各所述非当前人声语句片段的文本特征进行融合，得到所述当前人声语句片段的音色相似文本融合特征；

将所述当前人声语句片段的文本特征与所述音色相似文本融合特征进行融合，得到所述当前人声语句片段的音色文本融合特征，并更换当前人声语句片段并确定与更换后的当前人声语句片段对应的非当前人声语句片段，直至完成各所述人声语句片段的音色文本融合特征的获取，得到各音色文本融合特征。

2.如权利要求1所述的说话者角色确定方法，其特征在于，所述获取所述当前人声语句片段的音色特征与各所述非当前人声语句片段的音色特征的相似度的步骤包括：

获取所述当前人声语句片段的音色特征与各所述非当前人声语句片段的音色特征的各相似度值；

将各所述相似度值进行归一化，得到各所述相似度。

3.如权利要求1所述的说话者角色确定方法，其特征在于，所述角色确定模型通过以下损失函数确定训练损失：

其中，L-角色确定模型损失；

Lc—交叉熵函数模型损失；

R_α—音色相似度模型损失；

β--音色相似度模型损失权重。

4.如权利要求3所述的说话者角色确定方法，其特征在于，所述音色相似度模型损失通过以下损失函数获取：

其中，R_α—音色相似度模型损失；

i—第i个人声语句片段；

j—第j个人声语句片段；

y_i--第i个人声语句片段的真实说话者角色；

y_j--第j个人声语句片段的真实说话者角色；

α_ij--第i个人声语句片段的音色特征与第i个人声语句片段的音色特征的相似度。

5.如权利要求1所述的说话者角色确定方法，其特征在于，所述获取待角色确定音频的各人声语句片段的步骤包括：

获取待角色确定音频的各人声帧片段；

根据各所述人声帧片段的时刻和相邻时刻的所述人声帧片段间的时间间隔，获取满足预定的时间间隔阈值的相邻所述人声帧片段，并将满足预定的时间间隔阈值的相邻所述人声帧片段进行拼接，得到各所述人声语句片段。

6.如权利要求5所述的说话者角色确定方法，其特征在于，所述时间间隔阈值范围为100ms-500ms。

7.如权利要求1所述的说话者角色确定方法，其特征在于，所述获取各所述人声语句片段的音色特征的步骤包括：

利用声纹特征提取器获取各所述人声语句片段的音色特征。

8.如权利要求1所述的说话者角色确定方法，其特征在于，所述获取各所述人声语句片段的文本特征的步骤包括：

利用语音识别模型获取各所述人声语句片段的文本；

对各所述文本进行文本特征编码，获取各所述文本特征。