[发明专利]资源约束的神经网络架构搜索

说明书

一种方法(200)包括：定义神经网络计算单元(122)，该计算单元包括表示相应神经网络潜在表示的节点(402)和表示变换相应神经网络潜在表示的相应操作的边(404)的有向图；将转换相应神经网络潜在表示的每个操作替换为候选操作的相应线性组合，其中，相应线性组合中的每个候选操作具有由一个或多个计算单元超参数参数化的相应混合权重；迭代地调整计算单元超参数(132a)和权重(132b)的值，以优化受计算资源约束(106)限制的验证损失函数；以及，使用定义的计算单元和计算单元超参数和权重的调整后的值生成用于执行机器学习任务的神经网络(152)。

技术领域

本说明书涉及确定神经网络的架构。

背景技术

神经网络是使用一层或多层非线性单元来对接收到的输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作对在网络中的下一层的输入，即，下一隐藏层或输出层。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。

发明内容

本说明书描述了一种端到端神经架构搜索框架，用于在资源约束下进行一次性神经架构搜索，其中，能够为任何机器学习任务数据集学习定制的网络架构。

通常，本说明书中描述的主题的一个创新方面包括一种用于神经网络架构搜索的方法，该方法包括：定义神经网络的计算单元，其中，计算单元包括节点和边的有向图，每个节点代表相应的神经网络潜在表示，并且每个边表示转换相应神经网络潜在表示的相应操作；将转换相应神经网络潜在表示的每个操作替换为来自预定义的候选操作集的候选操作的相应线性组合，其中，相应线性组合中的每个候选操作具有由一个或多个计算单元超参数参数化的相应混合权重；迭代地调整i)计算单元超参数的值和ii)计算单元权重的值，以优化受一个或多个计算资源约束限制的验证损失函数，对于每次迭代，包括：执行验证损失函数的无约束优化以更新先前迭代的计算单元超参数的值并获得计算单元权重的调整后的值；以及，将计算单元超参数的更新后的值投影到由一个或多个资源约束定义的可行集中的最近点，以获得计算单元超参数的调整后的值；以及，使用定义的计算单元和计算单元超参数的调整后的值和计算单元权重的调整后的值生成用于执行机器学习任务的神经网络。

该方面的其他实施例包括记录在一个或多个计算机存储设备上的对应计算机系统、装置和计算机程序，每个对应计算机系统、装置和计算机程序被配置为执行方法的动作。一个或多个计算机的系统能够被配置为借助于安装在操作中可以使系统执行动作的系统上的软件、固件、硬件或其任何组合来执行特定操作或动作。一个或多个计算机程序能够被配置为借助于包括指令来执行特定操作或动作，这些指令在由数据处理装置执行时使该装置执行动作。

前述和其他实施例能够各自任选地包括单独或组合的以下特征中的一个或多个。在一些实施方式中，使用定义的计算单元和计算单元超参数的调整后的值和计算单元权重的调整后的值生成用于执行机器学习任务的神经网络包括：通过将候选操作的每个线性组合替换为具有最大混合权重的单个操作来定义离散计算单元架构，该最大混合权重由一个或多个调整后的计算单元超参数参数化；以及使用所述定义的离散计算单元架构和所述计算单元权重的调整后的值生成用于执行机器学习任务的神经网络。

在一些实施方式中，使用定义的计算单元和计算单元超参数的调整后的值和计算单元权重的调整后的值生成用于执行机器学习任务的神经网络包括：堆叠定义的计算单元的多个副本，其中，每个副本具有由计算单元超参数的调整后的值定义的相同单元架构。

在一些似睡非睡中，该方法进一步包括：生成定义的计算单元的多个副本；以及在相应的训练数据上训练定义的计算单元的每个生成后的副本。

在一些实施方式中，堆叠定义的计算单元的多个副本包括在定义的计算单元的副本之间交错一个或多个附加神经网络层。