[发明专利]资源约束的神经网络架构搜索

权利要求书

1.一种计算机实现的方法(200)，所述方法(200)包括：

定义神经网络的计算单元(122)，其中，所述计算单元(122)包括节点(402)和边(404)的有向图，每个节点(402)表示相应的神经网络潜在表示，并且每个边(404)表示转换相应神经网络潜在表示的相应操作；

将转换相应神经网络潜在表示的每个操作替换为来自预定义的候选操作集的候选操作的相应线性组合，其中，相应线性组合中的每个候选操作具有由一个或多个计算单元超参数(132a)参数化的相应混合权重；

迭代地调整i)所述计算单元超参数(132a)的值和ii)计算单元权重(132b)的值，以优化受一个或多个计算资源约束(106)限制的验证损失函数，包括，对于每次迭代：

执行所述验证损失函数的无约束优化以更新先前迭代的所述计算单元超参数(132a)的值并获得所述计算单元权重(132b)的调整后的值；以及

将所述计算单元超参数(132a)的更新后的值投影到由所述一个或多个资源约束(106)定义的可行集中的最近点，以获得所述计算单元超参数(132a)的调整后的值；以及

使用所述定义的计算单元(122)和所述计算单元超参数(132a)的调整后的值和所述计算单元权重(132b)的调整后的值生成用于执行机器学习任务的神经网络(152)。

2.根据权利要求1所述的方法(200)，其中，使用所述定义的计算单元(122)和所述计算单元超参数(132a)的调整后的值和所述计算单元权重(132b)的调整后的值生成用于执行机器学习任务的神经网络(152)包括：

通过将候选操作的每个线性组合替换为具有最大混合权重的单个操作来定义离散(152)计算单元架构，所述最大混合权重由一个或多个调整后的计算单元超参数(132a)参数化；以及

使用所述定义的离散计算单元架构和所述计算单元权重(132b)的调整后的值生成用于执行机器学习任务的神经网络。

3.根据权利要求1或2所述的方法(200)，其中，使用所述定义的计算单元(122)和所述计算单元超参数(132a)的调整后的值和所述计算单元权重(132b)的调整后的值生成用于执行机器学习任务的神经网络(152)包括：堆叠所述定义的计算单元(122)的多个副本，其中，每个副本具有由所述计算单元超参数(132a)的调整后的值定义的相同单元架构。

4.根据权利要求3所述的方法(200)，进一步包括：

生成所述定义的计算单元(122)的所述多个副本；以及

在相应的训练数据(102)上训练所述定义的计算单元(122)的每个生成的副本。

5.根据权利要求3或4所述的方法(200)，其中，堆叠所述定义的计算单元(122)的多个副本包括在所述定义的计算单元(122)的所述副本之间交错一个或多个附加神经网络层。

6.根据权利要求5所述的方法(200)，其中，所述一个或多个附加神经网络层包括连接计算单元(122)，所述连接计算单元(122)包括一个输入节点(402)和一个中间节点(402)，并且其中，所述方法(200)进一步包括通过迭代调整i)所述连接计算单元超参数(132a)的值和ii)连接计算单元权重(132b)的值来学习所述连接单元，以优化受一个或多个计算资源约束(106)限制的所述验证损失函数。

7.根据权利要求1-6中的任一项所述的方法(200)，其中，所述验证损失函数表示在通过所述定义的计算集运行验证数据集之后获得的误差的测量。

8.根据权利要求1-7中的任一项所述的方法(200)，其中，迭代地调整i)所述计算单元超参数(132a)的值和ii)计算单元权重(132b)的值以优化验证损失函数包括：执行所述验证损失函数和表示在训练数据(102)上获得的误差的测量的训练损失函数的双层优化，其中，所述计算单元超参数(132a)包括上层参数，并且所述计算单元权重(132b)包括下层参数。