[发明专利]神经架构搜索

权利要求书

1.一种方法，所述方法包括：

使用具有多个控制器参数的控制器神经网络并根据所述控制器参数的当前值来生成一个批次的输出序列，所述批次中的每个输出序列定义被配置为执行特定神经网络任务的子神经网络的相应的架构；

针对所述批次中的每个输出序列：

对具有通过所述输出序列所定义的所述架构的所述子神经网络的相应的实例进行训练以执行所述特定神经网络任务；

对所述子神经网络的经训练的实例在所述特定神经网络任务上的性能进行评估，以确定所述子神经网络的经训练的实例在所述特定神经网络任务上的性能度量；以及

使用所述子神经网络的各经训练的实例的性能度量来调整所述控制器神经网络的所述控制器参数的所述当前值。

2.根据权利要求1所述的方法，其中，使用所述子神经网络的各经训练的实例的性能度量来调整所述控制器神经网络的所述控制器参数的所述当前值包括：

使用加强学习技术来对所述控制器神经网络进行训练，以生成导致子神经网络具有增加的性能度量的输出序列。

3.根据权利要求2所述的方法，其中，所述加强学习技术是策略梯度技术。

4.根据权利要求3所述的方法，其中，所述加强学习技术是REINFORCE技术。

5.根据权利要求1至4中的任一项所述的方法，其中，每个输出序列包括所述子神经网络在多个时间步长中的每个时间步长处的相应的超参数的值。

6.根据权利要求5所述的方法，其中，所述控制器神经网络是递归神经网络，所述递归神经网络包括：

一个或多个递归神经网络层，所述一个或多个递归神经网络层被配置为，针对给定输出序列并且在每个时间步长处：

接收所述给定输出序列中的先前时间步长处的超参数的值作为输入，并且对所述输入进行处理以更新所述递归神经网络的当前隐藏状态；以及

针对每个时间步长的相应的输出层，其中，每个输出层被配置为，针对所述给定输出序列：

在所述时间步长处接收包括经更新的隐藏状态的输出层输入，并且生成针对所述时间步长的、定义在所述时间步长处的所述超参数的可能值上的评分分布的输出。

7.根据权利要求6所述的方法，其中，使用具有多个控制器参数的控制器神经网络并根据所述控制器参数的当前值来生成一个批次的输出序列包括，针对所述批次中的每个输出序列并且针对所述多个时间步长中的每个时间步长：

提供在所述输出序列中的先前时间步长处的所述超参数的值作为到所述控制器神经网络的输入，以生成针对所述时间步长的、定义在所述时间步长处的所述超参数的可能值上的评分分布的输出；以及

根据所述评分分布从所述可能值中采样，以确定所述输出序列中的所述时间步长处的所述超参数的值。

8.根据权利要求5至7中的任一项所述的方法，其中，所述子神经网络是卷积神经网络，并且其中，所述超参数包括针对所述子神经网络中的每个卷积神经网络层的超参数。

9.根据权利要求8所述的方法，其中，针对所述卷积神经网络层中的每个的所述超参数包括以下一个或多个：

过滤器的数目，

针对每个过滤器的过滤器高度，

针对每个过滤器的过滤器宽度，

针对每个过滤器的步幅高度，或

针对每个过滤器的步幅宽度。

10.根据权利要求5至9中的任一项所述的方法，其中，所述子神经网络包括多个层类型，并且所述超参数对于每个层包括与该层的类型相对应的值。

11.根据权利要求5至10中的任一项所述的方法，其中，对于所述层中的一个或多个中的每个，所述超参数包括定义那些较早层具有到所述层的跳转连接的跳转连接超参数。