[发明专利]神经架构搜索

说明书

本申请涉及神经架构搜索。提供了一种用于确定神经网络架构的方法、系统和设备，该方法包括使用控制器神经网络来生成一个批次的输出序列，所述批次中的每个输出序列定义被配置为执行特定神经网络任务的子神经网络的相应的架构；针对所述批次中的每个输出序列：对具有通过所述输出序列所定义的所述架构的所述子神经网络的相应的实例进行训练；对所述子神经网络的经训练的实例的在所述特定神经网络任务上的性能进行评估，以确定针对所述子神经网络的经训练的实例在所述特定神经网络任务上的性能度量；以及使用所述子神经网络的经训练的实例的所述性能度量，以调整所述控制器神经网络的所述控制器参数的所述当前值。

技术领域

本说明书涉及对神经网络架构进行修改。

背景技术

神经网络是采用非线性cell中的一个或多个层来为接收到的输入预测输出的机器学习模型。一些神经网络除了包括输出层之外的一个或多个隐藏层。每个隐藏层的输出被用作该网络中的下一层(即，下一个隐藏层或输出层)的输入。该网络的每个层根据相应的一组参数的当前值从接收到的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从该输入序列生成输出序列的神经网络。特别地，递归神经网络能够在计算当前时间步长处的输出时使用来自先前时间步长的该网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个长短期(LSTM)记忆块的LSTM神经网络。每个LSTM记忆块能够包括一个或多个cell，每个cell均包括允许该cell存储针对该cell的先前状态的输入门、遗忘门和输出门，例如，以用于在生成当前激活时使用或者被提供给LSTM神经网络的其它组件。

发明内容

本说明书描述了作为计算机程序实现在一个或多个位置中的一个或多个计算机上的系统如何能够使用控制器神经网络来确定被配置为针对执行特定神经网络任务的子神经网络的架构。

能够实现本说明书中所描述的主题的特定实施例以便实现以下优点中的一个或多个。该系统能够有效且自动地(即，在没有用户干预的情况下)选择将针对特定任务产生高性能神经网络的神经网络架构。该系统能够有效地确定针对特定任务适配的新颖神经网络架构，从而允许所得到的子神经网络在该任务上具有改进的性能。因为该系统通过加强学习对控制器神经网络进行训练来确定架构，所以该系统能够有效地利用可能的架构的大空间来标识针对特定任务适配的子神经网络的架构。

在附图和以下描述中阐述了本说明书中所描述的主题的一个或多个实施例的细节。主题的其它特征、方面和优点将根据说明书、附图和权利要求书变得显而易见。

附图说明

图1示出示例神经架构搜索系统。

图2A是生成输出序列的控制器神经网络的示例的图。

图2B是生成定义包括跳转连接的架构的输出序列的控制器神经网络的示例的图。

图2C是生成定义递归cell的架构的输出序列的控制器神经网络的示例的图。

图3是用于更新控制器参数的当前值的示例过程的流程图。

在各个附图中相同的附图标记和名称指示相同的元件。

具体实施方式

本说明书描述了作为计算机程序实现在一个或多个位置中的一个或多个计算机上的系统，该系统使用控制器神经网络来确定被配置为执行特定神经网络任务的子神经网络的架构。

子神经网络能够被配置为接收任何种类的数字数据输入并且基于该输入生成任何种类的评分、分类或回归输出。

例如，如果到子神经网络的输入是已经从图像中提取的图像或特征，则由子神经网络针对给定图像所生成的输出可以是针对一组对象类别中的每个的评分，其中每个评分表示图像包含属于该类别的对象的图像的估计可能性。