[发明专利]利用强化学习的分层设备放置

权利要求书

1.一种用于确定机器学习操作的放置的方法，包括：

接收指定要跨多个硬件设备分布用于处理的机器学习操作的数据；以及

确定将由所接收的数据指定的操作中的每一个分配给来自多个硬件设备的相应的设备的放置，包括：

从指定所述操作的数据，为多个操作中的每一个生成相应的操作嵌入；

将所述操作分组为多个操作组，包括使用具有多个分组器参数的分组器神经网络来处理相应的操作嵌入中的每一个，

其中所述分组器神经网络被配置为，对于操作中的每一个，按照所述分组器参数的训练值来处理所述操作的操作嵌入，以生成分组器输出，所述分组器输出将所述操作分配给来自多个操作组的操作组；以及

将所述操作组中的每一个分配给来自所述多个硬件设备的相应的设备，包括：

通过组合所述操作组中的操作的操作嵌入，为操作组中的每一个生成相应的组嵌入；以及

使用具有多个放置器参数的放置器神经网络处理所述操作组的相应的组嵌入，

其中，所述放置器神经网络被配置为按照所述放置器参数的训练值处理所述相应的组嵌入，以生成放置器输出，所述放置器输出将每个操作组分配给来自所述多个硬件设备的相应的硬件设备，

其中，所述分组器参数的所述训练值和所述放置器参数的所述训练值是通过使用强化学习联合训练所述分组器神经网络和所述放置器神经网络来确定的。

2.根据权利要求1所述的方法，进一步包括：

通过对于每个操作组，将所述操作组中的操作放置在所述操作组被分配到的硬件设备上，来调度所述操作用于由所述多个硬件设备进行处理。

3.根据权利要求1所述的方法，其中，所述操作是训练机器学习模型所必需的操作。

4.根据权利要求1所述的方法，其中，所述操作是使用机器学习模型执行推理所必需的操作。

5.根据权利要求1所述的方法，其中，指定所述操作的数据是表示计算图的数据，所述计算图具有表示操作的顶点和表示所述操作之间通信的数据的边。

6.根据权利要求1所述的方法，其中，所述分组器神经网络是前馈神经网络。

7.根据权利要求1所述的方法，其中，所述放置器神经网络是递归神经网络。

8.根据权利要求7所述的方法，其中，所述放置器神经网络是序列到序列神经网络。

9.根据权利要求1所述的方法，其中所述放置器神经网络采用用于所述多个硬件设备的可学习嵌入。

10.根据权利要求1所述的方法，其中，从指定所述操作的数据为多个操作中的每一个生成相应的操作嵌入包括：

为所述操作的多个属性中的每一个生成相应的属性嵌入；以及

组合所述属性嵌入以生成所述操作嵌入。

11.根据权利要求10所述的方法，其中，所述属性包括以下各项中的一个或多个：所述操作的操作类型、所述操作生成的输出的大小、或者向所述操作提供输入并接收所述操作生成的输出的操作。

12.根据权利要求1所述的方法，进一步包括：

通过重复地执行以下步骤，从所述分组器参数和放置器参数的初始值确定所述分组器参数和所述放置器参数的第一值：

按照所述放置器参数和所述分组器参数的当前值，使用所述分组器神经网络和所述放置器神经网络处理操作嵌入的当前序列，以选择所述操作跨多个设备的一个或多个放置；

对于每个所选择的放置：

根据所述放置跨所述多个设备执行所述操作，以及

确定完成处理所需的时间；

使用强化学习技术调整所述分组器参数和所述放置器参数的当前值，所述强化学习技术使用从针对所选择的放置中的每一个完成处理所需的时间中导出的回报。