[发明专利]网络结构搜索的方法及装置、计算机存储介质和计算机程序产品

权利要求书

1.一种网络结构搜索的方法，其特征在于，包括：

定义搜索空间步骤：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；

预训练步骤：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；

训练步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。

2.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述预训练步骤，包括：

根据所述第一网络结构以所述第一网络结构的预设参数在所述搜索空间的每个所述操作层采样一个所述操作以得到所述总图的一个子图；

利用训练集的一批训练数据训练所述总图的子图以得到具有所述预训练参数的所述总图。

3.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述训练步骤包括：

训练总图步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图；

训练第一网络结构步骤：确定所述反馈量并根据所述反馈量更新所述第一网络结构。

4.根据权利要求3所述的网络结构搜索的方法，其特征在于，所述训练总图步骤和所述训练第一网络结构步骤迭代进行。

5.根据权利要求3所述的网络结构搜索的方法，其特征在于，所述训练总图步骤包括：

根据所述第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到具有所述预训练参数的所述总图的一个子图；

利用训练集的一批训练数据训练所述子图。

6.根据权利要求3所述的网络结构搜索的方法，其特征在于，所述训练第一网络结构步骤循环预设次数，根据所述反馈量更新所述第一网络结构，包括：

利用每次循环确定的所述反馈量更新所述第一网络结构，每次循环确定的所述反馈量的数量为预设数量。

7.根据权利要求6所述的网络结构搜索的方法，其特征在于，确定所述反馈量，包括：

根据所述第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到第二网络结构；

利用测试集的一批测试数据预测所述第二网络结构以确定所述反馈量。

8.根据权利要求6所述的网络结构搜索方法，其特征在于，所述第一网络结构是根据长短期记忆网络模型来构建，根据所述反馈量更新所述第一网络结构，通过以下条件式实现：

其中，R_k为第k个所述反馈量，θ_c为所述长短期记忆网络模型的参数，a_t为在第t个所述操作层采样到的所述操作，P(a_t|a_(t-1):1；θ_c)为采样到所述操作的概率，m为所述反馈量的总数，T为所述第一网络结构预测的超参数的数量。

9.一种网络结构搜索的装置，其特征在于，包括处理器和存储器，所述存储器存储有一个或多个程序，在所述程序被处理器执行的情况下，使得所述处理器用于执行：

定义搜索空间步骤：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；

预训练步骤：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；

训练步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。