[发明专利]利用强化学习的分层设备放置

说明书

一种用于确定机器学习模型操作跨多个硬件设备的放置的方法，包括：接收指定机器学习操作的数据，以及确定将由数据指定的操作中的每一个分配给来自多个硬件设备的相应的设备的放置。确定该放置包括：从该数据为操作中的每一个生成相应的操作嵌入；将操作分组为多个操作组，包括使用具有多个分组器参数的分组器神经网络来处理相应的操作嵌入中的每一个，其中分组器神经网络被配置为对于操作中的每一个，按照分组器参数的第一值来处理操作的操作嵌入，以生成分组器输出，该分组器输出将操作分配给来自多个操作组的操作组；以及将操作组中的每一个分配给来自多个硬件设备的相应的设备。

相关申请的交叉引用

本申请要求2017年7月21日提交的美国临时申请序列号62/535,790的优先权。在先申请的公开内容被认为是本申请公开内容的一部分，并通过引用结合于此。

技术领域

本说明书涉及使用神经网络确定计算图跨多个设备的放置。

背景技术

神经网络是机器学习模型，它采用一层或多层非线性单元来预测接收的输入的输出。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即，下一隐藏层或输出层)的输入。网络的每一层按照相应参数集合的当前值从接收的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。具体地，递归神经网络可以在计算当前时间步的输出时使用来自前一时间步的网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个长短期(Long Short Term，LSTM)记忆块的LSTM神经网络。每个LSTM记忆块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，其允许单元存储该单元的先前状态，例如，用于生成当前激活(current activation)或提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了实施为一个或多个位置的一个或多个计算机上的计算机程序的系统，该系统确定机器学习模型操作跨多个硬件设备的放置。

本说明书中描述的主题可以在特定实施例中实施，以便实现以下优点中的一个或多个。通过使用包括对机器学习模型的操作进行分组的分组器神经网络和将这些组放置在设备上的放置器神经网络的两级分层模型(hierarchical model)，使用设备执行机器学习模型的操作的效率被提高。

具体地，分组器神经网络的使用使能以不需要人力的端到端方式有效地确定高效利用硬件设备的机器学习操作的放置。也就是说，可以在不需要用户首先手动将操作分组为操作组作为预处理步骤的情况下确定放置。

此外，分组器和放置器神经网络使用强化学习被联合训练，以优化计算速度，即，通过最大化从执行时间导出的回报。因此，由两个神经网络确定的放置可以导致机器学习模型操作的减少的处理时间，即，在使用相同数量的硬件设备来执行操作时，允许更快地训练机器学习模型，更快地生成机器学习模型推理，或者两者。训练技术进一步允许神经网络学习当前硬件环境的属性，包括硬件中计算和通信之间的复杂权衡，允许经训练的神经网络生成更高效利用可用资源的更好表现的放置。也就是说，该系统可以有效地使放置适应当前硬件环境，以考虑环境中设备的计算能力，并且最小化由设备之间的通信所引起的延迟，并且最大化操作的性能。

此外，由于操作在被放置之前被分组，两级分层模型可以有效地处理非常大的计算图，并且为具有数万个操作的机器学习模型在多个设备上找到不平凡(non-trivial)的放置。

虽然本说明书描述了放置机器学习操作，但是本说明书中描述的技术可用于跨多个硬件设备放置可由计算图描述的任何操作集群。

本说明书的主题的一个或多个实施例的细节在以下附图和描述中阐述。从说明书、附图和权利要求书中，主题的其他特征、方面和优点将变得显而易见。

附图说明