[发明专利]优化神经网络架构

说明书

方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于优化神经网络架构。一种方法包括：接收训练数据；使用训练数据确定用于执行机器学习任务的优化的神经网络架构；以及确定具有优化的神经网络架构的神经网络的参数的训练的值。

背景技术

本公开涉及训练神经网络。

神经网络是机器学习模型，它使用一层或多层非线性单元来预测接收的输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集合的当前值从接收的输入生成输出。

发明内容

通常，本说明书中描述的主题的一个创新方面可以体现在用于确定最优的神经网络架构的方法中。

该方面的其他实施例包括相应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行方法的动作。一个或多个计算机的系统可以被配置为借助于安装在系统上的软件、固件、硬件或其任何组合来执行特定操作或动作，所述系统在操作中可以使系统执行动作。一个或多个计算机程序可以被配置为通过包括当由数据处理装置执行时使装置执行动作的指令来执行特定操作或动作。

本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。通过使用如本说明书中描述的给定机器学习任务的训练数据来优化神经网络架构，可以改进最终训练的神经网络在机器学习任务上的性能。具体地，神经网络的架构可以针对任务的训练数据而定制，而不受预先存在的架构的约束，从而改进训练的神经网络的性能。通过跨多个工作器计算单元分布架构的优化，可以搜索和评估的可能架构的搜索空间大大增加，导致在机器学习任务上具有改进的性能的最终优化的架构。另外，通过在架构的紧凑表示上操作而不是直接需要修改神经网络，优化处理的效率得到改进，导致优化的架构被更快地确定，同时使用例如更少存储器和处理能力或两者的更少的计算资源来确定。

在附图和以下描述中阐述了本说明书的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得明显。

附图说明

图1示出了示例神经网络架构优化系统。

图2是用于优化神经网络架构的示例处理的流程图。

图3是用于更新群体(populatoin)储存库中的紧凑表示的示例处理的流程图。

具体实施方式

图1示出了示例神经网络架构优化系统100。神经网络架构优化系统100是在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统的示例，其中可以实现下面描述的系统、组件和技术。

神经网络架构优化系统100是这样的系统，其(即，从系统的用户)接收训练数据102，用于训练神经网络以执行机器学习任务，并使用训练数据102来确定用于执行机器学习任务的最优的神经网络架构，并训练具有最优的神经网络架构的神经网络以确定神经网络的参数的训练的值。

训练数据102通常包括多个训练示例和每个训练示例的相应的目标输出。给定训练示例的目标输出是应由训练的神经网络通过处理给定训练示例生成的输出。

系统100可以以各种方式中的任何方式接收训练数据102。例如，系统100可以通过数据通信网络，例如使用系统100可用的应用编程接口(API)，从系统的远程用户接收作为上传的数据(upload)的训练数据。作为另一个示例，系统100可以从用户接收指定由系统100已经维持的数据应当用作训练数据102的输入。

神经网络架构优化系统100使用训练数据102生成指定训练的神经网络的数据152。数据152指定训练的神经网络的最优的架构和具有最优架构的训练的神经网络的参数的训练的值。