[发明专利]优化神经网络架构

权利要求书

1.一种方法，包括：

接收用于训练神经网络以执行机器学习任务的训练数据，该训练数据包括多个训练示例和每个训练示例的相应目标输出；

使用训练数据确定用于执行机器学习任务的优化神经网络架构，包括：

使用多个工作器计算单元中的每一个重复执行以下操作，每个工作器计算单元与每个其他的工作器计算单元异步地操作：

由工作器计算单元从群体储存库中的紧凑表示的当前群体中选择多个紧凑表示，其中当前群体中的每个紧凑表示编码用于执行机器学习任务的不同候选神经网络架构，

由工作器计算单元从所选择的多个紧凑表示生成新的紧凑表示，

由工作器计算单元确定具有由新的紧凑表示编码的架构的训练的神经网络的适合度的度量，以及

由工作器计算单元将新的紧凑表示添加到群体储存库中的当前群体，并将新的紧凑表示与适合度的度量相关联；以及

选择由与最佳适合度的度量相关联的紧凑表示编码的神经网络架构，作为优化的神经网络架构；以及

确定具有优化的神经网络架构的神经网络的参数的训练的值。

2.如权利要求1所述的方法，其中，确定具有由新的紧凑表示编码的架构的训练的神经网络的适合度的度量包括：

实例化具有由新的紧凑表示编码的架构的新神经网络；

在训练数据的训练子集上训练新神经网络，以确定新神经网络的参数的训练的值；以及

通过在训练数据的验证子集上评估训练的新神经网络的性能来确定适合度的度量。

3.如权利要求2所述的方法，所述操作还包括：

将新神经网络的参数的训练的值与群体储存库中新的紧凑表示相关联。

4.如权利要求3所述的方法，其中，确定具有优化的神经网络架构的神经网络的参数的训练的值包括：

选择与紧凑表示相关联的训练的值，作为具有优化的神经网络架构的神经网络的参数的训练的值，其中该紧凑表示与最佳适合度的度量相关联。

5.如权利要求1-4中任一项所述的方法，还包括：

使用一个或多个默认紧凑表示来初始化群体储存库，该默认紧凑表示编码用于执行机器学习任务的默认神经网络架构。

6.如权利要求1-5中任一项所述的方法，其中从多个紧凑表示生成新的紧凑表示包括：

识别多个紧凑表示中的与最差适合度相关联的紧凑表示；以及

从多个紧凑表示中的所识别的紧凑表示之外的一个或多个紧凑表示生成新的紧凑表示。

7.如权利要求6所述的方法，所述操作还包括：

从当前群体中移除所识别的紧凑表示。

8.如权利要求6或7中任一项所述的方法，其中在多个紧凑表示中存在除所识别的紧凑表示之外的一个剩余紧凑表示，并且其中生成新的紧凑表示包括：

修改该一个剩余的紧凑表示以生成新的紧凑表示。

9.如权利要求8所述的方法，其中修改该一个剩余紧凑表示包括：

从预定的变异集合中随机选择变异；以及

将随机选择的变异应用于该一个剩余的紧凑表示以生成新的紧凑表示。

10.如权利要求8所述的方法，其中修改该一个剩余紧凑表示包括：

使用变异神经网络处理该一个剩余紧凑表示，其中已经训练变异神经网络以处理包括该一个剩余紧凑表示的网络输入以生成新的紧凑表示。

11.如权利要求6或7中任一项所述的方法，其中在多个紧凑表示中存在除所识别的紧凑表示之外的多个剩余紧凑表示，并且其中生成新的紧凑表示包括：

组合该多个剩余紧凑表示以生成新的紧凑表示。

12.如权利要求11所述的方法，其中组合该多个剩余紧凑表示以生成新的紧凑表示包括：

联合该剩余紧凑表示以生成新的紧凑表示。