[发明专利]用于基于转换器的生成任务的推理系统的选择性分批

说明书

提供用于基于转换器的生成任务的推理系统的选择性分批。推理系统通过对转换器模型中的操作的子集进行选择性分批但针对转换器模型中的操作的子集单独地处理批中的请求，来将机器学习转换器模型应用于具有可变输入长度或可变目标长度或可变内部状态长度的一批请求。在一个实施方式中，要单独处理的操作是转换器模型的编码器或解码器的注意力操作。通过选择性分批，推理系统可以使得能够针对具有可变的输入长度或目标长度或内部状态长度的一批请求执行批操作，以利用硬件加速器的并行计算能力，同时防止针对将一批请求的数据约束到相同长度的变通方案而发生的不必要的计算。

背景技术

本发明总体上涉及机器学习转换器(transformer)神经网络模型，并且更具体地涉及针对转换器模型进行选择性分批。

转换器神经网络模型是用于各种应用例如包括顺序数据的自然语言处理(NLP)、图像处理或音频处理应用的机器学习模型。例如，转换器模型可以接收表示查询的输入令牌序列，并且生成表示对查询的响应的输出令牌序列。作为另一示例，转换器模型可以接收表示德语段落的输入令牌序列，并且生成表示英语段落的翻译的输出令牌序列。作为又一示例，转换器模型可以接收表示文本段落的输入令牌序列，并且生成表示文本的概括版本的输出令牌序列。

通常，客户端设备的用户向推理系统提交请求。推理系统针对请求的输入(例如，输入令牌序列)执行机器学习转换器模型，以生成针对这些请求的输出(例如，输出令牌序列)。推理系统可以将输出作为响应返回给请求的客户端设备。在一个实例中，推理系统在专用硬件加速器例如图形处理单元(GPU)或张量处理单元(TPU)上执行请求，以改善等待时间和吞吐量，尤其是在转换器模型的参数的数量相当大的情况下。

在一个实例中，推理系统分批地处理请求以实现对加速器的高处理器利用率。具体地，推理系统可以一起处理批中的多个请求，以利用硬件加速器中的并行计算单元的量。在许多情况下，批中的请求的输入在长度上是可变的。例如，批中的每个请求的输入令牌的数量可能在长度上是可变的。然而，针对转换器模型进行分批的方法通常要求批中的多个请求的数据的长度相同以进行处理。因此，处理具有可变长度的一批请求可能是不可行的，或者解决该问题的变通方案可能导致与单独处理每个请求相比使用更多资源。

发明内容

一种推理系统，其通过对转换器模型中的操作的子集进行选择性分批但是针对转换器模型中的操作的子集单独地处理批中的请求，来将机器学习转换器模型应用于具有可变输入长度或可变目标长度或可变内部状态长度的一批请求。在一个实施方式中，要单独处理的操作是转换器模型的编码器或解码器的注意力(attention)操作。通过选择性分批，推理系统可以使得能够针对具有可变的输入长度或目标长度或内部状态长度的一批请求执行批操作，以利用硬件加速器的并行计算能力，同时防止针对将一批请求的数据约束到相同长度的变通方案而发生的不必要的计算。

具体地，在一个实施方式中，推理系统接收包括一个或更多个输入令牌序列的一批请求。针对该批中的第一请求的第一输入令牌序列的长度可以不同于针对第二请求的第二输入令牌序列的长度。推理系统访问包括彼此耦接的至少一组解码器的转换器模型。针对一次或更多次迭代，推理系统重复执行通过将该组解码器应用于针对请求的一个或更多个输入来生成针对该请求的一个或更多个输出令牌的步骤。

针对组中的至少一个解码器，推理系统通过将QKV权重张量应用于一个或更多个输入表示来生成针对请求的一个或更多个查询、一个或更多个关键字以及一个或更多个值。在一个实例中，查询、关键字和值通过批操作生成。推理系统至少从一个或更多个查询中拆分针对第一请求的第一查询、从一个或更多个关键字中拆分针对第一请求的第一关键字以及从一个或更多个值中拆分针对第一请求的第一值。推理系统还至少从一个或更多个查询中拆分针对第二请求的第二查询、从一个或更多个关键字中拆分针对第二请求的第二关键字以及从一个或更多个值中拆分针对第二请求的第二值。