[发明专利]利用强化学习的设备布局优化

说明书

描述了一种用于确定跨多个硬件设备的机器学习模型操作的布局的方法。该方法包括接收指定将被布局用于在多个硬件设备上进行分布式处理的机器学习模型的数据；从数据生成操作嵌入序列，序列中的每个操作嵌入表征执行机器学习模型的处理所需的相应操作；根据布局递归神经网络的多个网络参数的第一值，使用布局递归神经网络处理操作嵌入序列，以生成定义由序列中的操作嵌入表征的跨多个设备的操作的布局的网络输出；以及通过根据由网络输出定义的布局在多个设备上布局操作，来调度机器学习模型以供多个硬件设备处理。

相关申请的交叉引用

本申请要求2017年3月24日提交的美国临时申请62/476,618号的优先权。在先申请的公开内容被认为是本申请公开内容的一部分，并通过引用结合于此。

背景技术

本说明书涉及确定跨多个设备的机器学习模型操作的布局(placement)。

神经网络是机器学习模型，其采用一层或多层非线性单元来预测接收到的输入的输出。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即下一隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。具体而言，递归神经网络可以使用来自先前时间步骤的网络内部状态中的一些或全部来在当前时间步骤处计算输出。递归神经网络的一个示例是包括一个或多个长短期(long short term，LSTM)记忆块的LSTM神经网络。每个LSTM记忆块可以包括一个或多个单元，每个单元包括允许单元存储该单元的先前状态的输入门、遗忘门和输出门，例如，用于生成电流激活或提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了在一个或多个位置处的一个或多个计算机上实施为计算机程序的系统，该系统确定跨多个硬件设备的机器学习模型操作的布局。

本说明书中描述的主题可以在特定实施例中实施，以便实现一个或多个以下优点。通过使用递归神经网络来确定跨多个设备的机器学习模型操作的布局，使用设备执行机器学习模型的操作的效率得以提高。具体地，可以生成这样的布局，其适应于可用于处理的硬件配置，并致使模型处理的运行时间更短。通过使用具有从执行次数导出的奖励(reward)的强化学习来训练神经网络，递归神经网络学习当前硬件环境的属性，当前硬件环境包括硬件中的计算和通信之间的复杂权衡，这允许训练的神经网络生成更有效地利用可用资源的性能更好的布局。也就是说，该系统可以有效地使布局适应当前硬件环境，以考虑环境中设备的计算能力，并且最小化设备之间的通信所引起的延迟，以及最大化操作的性能。

虽然本说明书描述了布局机器学习操作，但是本说明书中描述的技术可用于布局可由计算图描述的跨多个硬件设备的任何操作的集合。

本说明书主题的一个或多个实施例的细节在附图和以下描述中阐述。从说明书、附图和权利要求书中，主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出了确定机器学习模型操作的布局的示例设备布局系统。

图2示出了布局递归神经网络的示例架构。

图3是用于在训练期间更新布局递归神经网络的网络参数的值的示例过程的流程图。

图4示出了示例计算图和该图的计算图操作在多个设备上的示例布局。

不同附图中相同的附图标记和名称指示相同的元素。

具体实施方式

图1示出了确定跨多个硬件设备的机器学习模型的操作的布局的设备布局系统100。设备布局系统100可以在一个或多个位置处的一个或多个计算机上实施为计算机程序。