[发明专利]神经架构搜索

权利要求书

1.一种确定用于执行特定神经网络任务的神经网络的架构的方法，所述方法包括：

使用具有多个控制器参数的控制器神经网络并根据所述控制器参数的当前值生成输出序列批次，所述批次中的每个输出序列指定在大型神经网络处理输入期间应是活动的所述大型神经网络的多个组件的相应子集，其中，所述大型神经网络具有多个大型网络参数；

对于所述批次中的每个输出序列：

(i)根据所述大型网络参数的当前值，并且(ii)在仅由该输出序列指定的组件的子集是活动的情况下，确定所述大型神经网络在所述特定神经网络任务上的性能度量；以及

使用所述批次中的所述输出序列的所述性能度量来调整所述控制器神经网络的所述控制器参数的所述当前值。

2.根据权利要求1所述的方法，进一步包括：

使用所述控制器神经网络并根据所述控制器参数的所调整的值生成新输出序列；以及

在训练数据上训练仅由所述新输出序列指定的组件的子集是活动的所述大型神经网络，以确定所述大型网络参数的所调整的值。

3.根据权利要求1或2中任一项所述的方法，其中，使用所述批次中的所述输出序列的所述性能度量来调整所述控制器神经网络的所述控制器参数的所述当前值包括：

使用强化学习技术训练所述控制器神经网络以生成具有增加的性能度量的输出序列。

4.根据权利要求3所述的方法，其中，所述强化学习技术是策略梯度技术。

5.根据权利要求4所述的方法，其中，所述强化学习技术是REINFORCE技术。

6.根据前述权利要求中的任一项所述的方法，其中，所述大型神经网络包括多个层。

7.根据前述权利要求中的任一项所述的方法，其中，在确定所述大型神经网络的性能时，所述大型网络参数的当前值是固定的。

8.根据前述权利要求中的任一项所述的方法，其中，所述控制器神经网络是递归神经网络，所述递归神经网络被配置为针对给定输出序列并且在多个时间步中的每个时间步：

接收在所述给定输出序列中在先前时间步生成的输出的嵌入作为输入，并处理所述输入以更新所述递归神经网络的当前隐藏状态，并生成所述时间步的可能输出的得分分布。

9.根据前述权利要求中的任一项所述的方法，其中，每个输出序列包括多个时间步中的每个时间步的相应输出，其中，每个时间步对应于表示所述大型神经网络的有向无环图(DAG)中的相应节点，其中，所述DAG包括连接所述DAG中的节点的多个边，并且其中，所述输出序列针对每个节点定义由该节点接收的输入和由该节点执行的计算。

10.根据权利要求9所述的方法，其中，对于所述DAG中的多个节点中的每个特定节点，所述控制器神经网络在与该节点对应的第一时间步处生成通过所述DAG中的传入边连接到所述特定节点的节点的概率分布。

11.根据权利要求9所述的方法，其中，对于所述DAG中的多个节点中的每个特定节点，所述控制器神经网络在与该节点对应的第一时间步处为通过所述DAG中的传入边连接到所述特定节点的每个节点生成定义该边将被指定为活动的可能性的相应的独立概率。

12.根据权利要求9-11中的任一项所述的方法，对于所述DAG中的多个节点中的每个特定节点，所述控制器神经网络在与该节点对应的第二时间步处生成由所述特定节点执行的可能计算的概率分布。

13.根据前述权利要求中的任一项所述的方法，其中，所述大型神经网络是递归神经网络。

14.根据前述权利要求中的任一项所述的方法，其中，所述大型神经网络是卷积神经网络。