[发明专利]用于卷积神经网络的神经架构搜索

权利要求书

1.一种方法，包括：

使用具有多个控制器参数的控制器神经网络并根据所述控制器参数的当前值生成一批输出序列，

所述批中的每个输出序列限定被配置成接收单元输入并生成单元输出的第一卷积单元的架构，以及

所述第一卷积单元包括预定数量的操作块的序列，每个操作块接收一个或多个相应输入隐藏状态并生成相应输出隐藏状态；

对于所述批中的每个输出序列：

生成子卷积神经网络的实例，所述子卷积神经网络的实例包括具有由所述输出序列限定的架构的第一卷积单元的多个实例；

训练所述子卷积神经网络的实例，以执行图像处理任务；以及

评估所述子卷积神经网络的经训练的实例在所述图像处理任务上的性能，以确定所述子卷积神经网络的经训练的实例的性能度量；以及

使用所述子卷积神经网络的经训练的实例的性能度量来调节所述控制器神经网络的控制器参数的当前值。

2.根据权利要求1所述的方法，其中，在所述训练之后，所述子卷积神经网络的经训练的实例中的所述第一卷积单元的不同实例具有不同的参数值。

3.根据权利要求1或2中任一项所述的方法，其中，所述第一卷积单元中的每个操作块被配置成：

将第一操作应用于第一输入隐藏状态，以生成第一输出；

将第二操作应用于第二输入隐藏状态，以生成第二输出；以及

将组合操作应用于所述第一输出和第二输出，以生成输出隐藏状态。

4.根据权利要求3所述的方法，其中，对于所述操作块中的每一个，所述批中的每个输出序列限定：

从以下中的一个或多个中选择的所述操作块的第一输入隐藏状态的源：(i)由所述子卷积神经网络的一个或多个其他组件生成的输出、(ii)输入图像、或者(iii)在所述第一卷积单元内的操作块的序列中的先前操作块的输出隐藏状态；

从以下中的一个或多个中选择的所述操作块的第二输入隐藏状态的源：(i)由卷积单元的序列中的一个或多个先前卷积单元生成的输出，(ii)所述输入图像，或者(iii)在所述卷积单元内的操作块的序列中的先前操作块的输出隐藏状态；

从预定的一组卷积神经网络操作中选择的所述第一操作的操作类型；以及

从所述预定的一组卷积神经网络操作中选择的所述第二操作的操作类型。

5.根据权利要求4所述的方法，其中，对于所述第一卷积单元的每个操作块，所述批中的每个输出序列进一步限定：

从预定的一组组合操作中选择组合操作的操作类型。

6.根据权利要求4或5中任一项所述的方法，其中，所述第一卷积单元进一步被配置成：通过组合未被选择为对所述第一卷积单元中的任何块的输入的所述第一卷积单元中的块的输出隐藏状态，生成所述单元输出。

7.根据权利要求1至6中任一项所述的方法，其中，使用所述子卷积神经网络的经训练的实例的性能度量来调节所述控制器神经网络的控制器参数的当前值包括：

使用机器学习训练技术训练所述控制器神经网络以生成使得所述子卷积神经网络具有增加的性能度量的输出序列。

8.根据权利要求7所述的方法，其中，所述训练技术是策略梯度技术。

9.根据权利要求7或8所述的方法，其中，所述训练技术是强化技术。

10.根据权利要求7所述的方法，其中，所述训练技术是近端策略优化(PPO)技术。

11.根据权利要求7至10中任一项所述的方法，进一步包括：

使用具有增加的性能度量的所述子卷积神经网络中的至少一个子卷积神经网络来执行所述图像处理任务。

12.根据权利要求1至10中任一项所述的方法，其中，每个输出序列包括在所述第一卷积单元在多个时间步长中的每个时间步长处的相应超参数的值。