[发明专利]神经架构搜索

说明书

用于确定神经网络架构的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。方法之一包括使用控制器神经网络生成输出序列批次，该批次中的每个输出序列指定大型神经网络的多个组件的相应子集，该相应子集应在大型神经网络处理输入期间是活动的；对于该批次中的每个输出序列：(i)根据大型网络参数的当前值并且(ii)在仅由输出序列指定的组件的子集是活动的情况下，确定大型神经网络在特定神经网络任务上的性能度量；使用该批次中的输出序列的性能度量来调整控制器神经网络的控制器参数的当前值。

相关申请的交叉引用

本申请要求于2017年10月27日提交的美国专利申请序列号62/578,361的优先权，其全部内容通过引用合并于此。

背景技术

本说明书涉及修改神经网络架构。

神经网络是机器学习模型，其使用一层或多层非线性单元来预测接收到的输入的输出。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层即下一个隐藏层或输出层的输入。网络的每一层根据相应的参数集的当前值从接收的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是一种接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以在当前时间步计算输出时使用来自先前时间步的部分或全部网络内部状态。递归神经网络的示例是长短期(LSTM)神经网络，其包括一个或多个LSTM存储块。每个LSTM存储块可以包括一个或多个单元，每个单元包括输入门、忘记门和输出门，允许该单元存储该单元的先前状态，例如，用于生成电流活动或要提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了被实现为在一个或多个位置的一个或多个计算机上的计算机程序的系统如何使用控制器神经网络来确定被配置为执行特定神经网络任务的神经网络的架构。

可以实施本说明书中描述的主题的特定实施例，以实现以下优点中的一个或多个。该系统可以有效且自动地即在无需用户干预的情况下选择神经网络架构，该神经网络架构将为特定任务提供高性能的神经网络。该系统可以有效地确定适用于特定任务的新型神经网络架构，从而使所得的神经网络在任务上具有更高的性能。

与现有方法相比，本说明书中描述的架构搜索技术消耗更少的计算资源和时间，同时仍然确定了高性能的模型架构。特别是，通过将搜索空间限制为大模型内的路径，并因此在给定的搜索轮次期间在候选架构之间共享参数值，该系统有效地限制了搜索空间并限制了训练所需的计算资源，同时仍然能够确定产生高性能神经网络的有效架构。

更详细地讲，使用神经网络来控制可能的神经网络架构的大空间中的搜索的其他技术(即，其他“自动模型设计”方法)在确定质量架构所需的时间和搜索过程消耗的计算资源例如处理能力和存储器方面成本极高。这是因为其他技术需要神经网络在每次迭代时定义全新的架构，并从头开始训练神经网络以评估每个新架构。因此，这些现有技术(i)由于训练神经网络而在搜索过程的每次迭代消耗大量时间和计算资源，并且(ii)需要进行大量迭代才能确定质量架构。

另一方面，所描述的技术使用控制器神经网络来搜索通过大型神经网络的路径，即，在大计算图内搜索最优子图。这减少了找到质量架构所需的迭代次数。另外，所描述的技术在跨迭代发现的子网络的训练的迭代中采用参数共享。这减少了搜索过程的每次迭代所消耗的时间和计算资源。

因此，所描述的技术比现有的自动模型设计方法快得多并且计算成本少得多。在一些情况下，所描述的技术既可以消耗比现有的自动模型设计方法更少的挂钟时间，又可以在使用减少1000倍的计算资源的同时发现可比或甚至性能更好的架构。

本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出了示例神经架构搜索系统。