[发明专利]使用端到端模型的讲话者分割

权利要求书

1.一种讲话者分割的方法，所述方法由一个或多个处理器实现并且包括：

为对应音频数据生成音频数据帧序列；

对于所述音频数据帧中的每一个，并且在所述序列中：

将所述音频数据帧的帧特征作为输入应用于所训练的递归神经网络RNN模型，以及

使用所训练的RNN模型来处理所述音频数据帧的所述帧特征以生成所训练的RNN模型的输出，所述输出包括多个置换不变的讲话者标签中的每一个的对应概率；

对于多个所述音频数据帧中的每一个，基于所述对应概率将所述多个讲话者标签中的对应一个指配给所述音频数据帧；

将所述讲话者标签及讲话者标签的指配的指示传送到至少一个附加组件，以用于基于所述讲话者标签进一步处理所述音频数据。

2.根据权利要求1所述的方法，其中，所训练的RNN模型包括长短期记忆(LSTM)层。

3.根据权利要求2所述的方法，其中，所训练的RNN模型进一步包括仿射层作为最终层，所述仿射层具有符合所述多个讲话者标签的输出维度。

4.根据前述权利要求中的任一项所述的方法，其中，所训练的RNN模型被训练成使得能够检测不同的人类讲话者并且使得能够检测缺失任何人类讲话者。

5.根据权利要求4所述的方法，进一步包括：

确定所述多个讲话者标签中的给定讲话者标签对应于所述缺失任何人类讲话者，其中，确定所述给定讲话者标签对应于所述缺失任何人类讲话者包括：

对具有所指配的给定讲话者标签的所述音频数据帧中的一个或多个音频数据帧执行进一步处理，以确定所述音频数据帧中的所述一个或多个音频数据帧每一个包括静默或背景噪声。

6.根据权利要求5所述的方法，其中，将所述讲话者标签及所述讲话者标签的指配的指示传送到所述至少一个附加组件以用于基于所述讲话者标签进一步处理所述音频数据包括：

在所述讲话者标签及所述讲话者标签的指配的指示中，识别所述音频数据的包括静默或背景噪声的部分。

7.根据前述权利要求中的任一项所述的方法，其中，所述音频数据帧中的每一个的所述帧特征包括所述音频数据帧的梅尔频率倒谱系数。

8.根据前述权利要求中的任一项所述的方法，进一步包括：

经由一个或多个网络接口接收所述音频数据，作为利用应用编程接口传送的语音处理请求的一部分；

其中，生成所述音频数据帧序列、应用所述音频数据帧的帧特征、处理所述音频数据帧的帧特征以及将所述讲话者标签指配给所述音频数据帧是响应于接收到所述语音处理请求而执行的；以及

其中，传送所述讲话者标签及所述讲话者标签的指配的指示是经由所述网络接口中的一个或多个，并且是响应于所述语音处理请求。

9.根据前述权利要求中的任一项所述的方法，

其中，所述音频数据是基于来自客户端设备的一个或多个麦克风的输出的流音频数据，其中，所述客户端设备包括用于与自动助理对接的自动助理接口，并且其中，所述流音频数据是响应于经由所述客户端设备对所述自动助理的调用而接收的；以及

其中，将所述讲话者标签及所述讲话者标签的指配的指示传送到至少一个附加组件以用于基于所述讲话者标签进一步处理所述音频数据包括：将所述讲话者标签及所述讲话者标签的指配的指示传送到所述自动助理的自动助理组件。

10.根据权利要求9所述的方法，其中，所述自动助理的自动助理组件是自动语音辨识ASR组件，所述自动语音辨识ASR组件处理所述音频数据以生成与所述音频数据相对应的文本。

11.根据权利要求10所述的方法，其中，所述ASR组件利用所述讲话者标签来识别所述音频数据中的讲话者之间的转变，并且基于所述转变，更改对跟随在所述转变之后的所述音频数据的处理。