[发明专利]用于基于转换器的生成任务的推理系统的选择性分批

权利要求书

1.一种通过应用机器学习转换器模型来执行一批请求的方法，包括：

接收包括两个或更多个令牌序列的一批请求，其中，针对所述批中的第一请求的第一令牌序列的长度不同于针对所述批中的第二请求的第二令牌序列的长度；

访问包括至少一组解码器的机器学习转换器模型；

针对一次或更多次迭代，执行以下步骤：

通过将所述组解码器应用于针对所述请求的一个或更多个输入来生成针对所述请求的一个或更多个输出令牌，所述生成进一步包括，针对所述组中的至少一个解码器：

通过将QKV权重张量应用于一个或更多个输入表示来生成针对所述请求的一个或更多个查询、一个或更多个关键字以及一个或更多个值，所述一个或更多个查询、所述一个或更多个关键字以及所述一个或更多个值通过批操作生成，

从所述一个或更多个查询中拆分针对所述第一请求的第一查询、从所述一个或更多个关键字中拆分针对所述第一请求的第一关键字以及从所述一个或更多个值中拆分针对所述第一请求的第一值，并且从所述一个或更多个查询中拆分针对所述第二请求的第二查询、从所述一个或更多个关键字中拆分针对所述第二请求的第二关键字以及从所述一个或更多个值中拆分针对所述第二请求的第二值，

通过至少组合所述第一查询、所述第一关键字和所述第一值来生成针对所述第一请求的第一注意力输出，

通过至少组合针对所述第二请求的第二查询、第二关键字和第二值来单独地生成针对所述第二请求的第二注意力输出，

将至少所述第一注意力输出和所述第二注意力输出连结成连结张量，以及

通过至少将一个或更多个权重张量应用于所述连结张量来生成一个或更多个输出表示，所述一个或更多个输出表示通过批操作生成；

将所述一个或更多个输出令牌设置为所述组解码器的一个或更多个输入，以用于接下来的迭代；以及

将针对至少一个请求生成的输出令牌作为对所述至少一个请求的响应提供给客户端设备。

2.根据权利要求1所述的方法，还包括：

沿单个维度将针对所述批请求的所述一个或更多个令牌序列中包括的令牌连结，以生成经连结的输入张量，并且

其中，针对所述一次或更多次迭代中的第一迭代，将所述组解码器应用于针对所述请求的一个或更多个输入包括：将所述组解码器应用于所述经连结的输入张量。

3.根据权利要求1所述的方法，其中，将至少所述第一注意力输出和所述第二注意力输出连结成所述连结张量进一步包括：沿单个维度将所述第一注意力输出的元素和所述第二注意力输出的元素连结，以生成所述连结张量。

4.根据权利要求1所述的方法，其中，所述第一请求的第一令牌序列是针对所述第一请求的输入令牌序列，并且其中，所述第二请求的第二令牌序列是在先前迭代处生成的输出令牌。

5.根据权利要求1所述的方法，

其中，生成针对所述第一请求的第一注意力输出包括：

将所述第一关键字添加至第一关键字缓存，所述第一关键字缓存另外包括在先前迭代处针对所述第一请求生成的关键字，以及将所述第一值添加至第一值缓存，所述第一值缓存另外包括在先前迭代处针对所述第一请求生成的值，以及

将所述第一查询与所述第一关键字缓存相乘以生成第一相乘张量，并且将所述第一相乘张量与所述第一值缓存相乘，并且

其中，生成针对所述第二请求的第二注意力输出包括：

将所述第二关键字添加至第二关键字缓存，所述第二关键字缓存另外包括在先前迭代处针对所述第二请求生成的关键字，以及将所述第二值添加至第二值缓存，所述第二值缓存另外包括在先前迭代处针对所述第二请求生成的值，以及

将所述第二查询与所述第二关键字缓存相乘以生成第二相乘张量，并且将所述第二相乘张量与所述第二值缓存相乘。

6.根据权利要求1所述的方法，其中，所述第一注意力输出是通过对至少所述第一查询、所述第一关键字和所述第一值执行一组操作来生成的，并且其中，所述第二注意力输出是通过在与所述第一组操作分开的步骤中对至少所述第二查询、所述第二关键字和所述第二值执行第二组操作来生成的。