[发明专利]网络结构搜索的方法及装置、计算机存储介质和计算机程序产品

权利要求书

1.一种网络结构搜索的方法，其特征在于，包括：

确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；

根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到目标网络结构；

低比特化所述目标网络结构以得到第二网络结构；

确定所述第二网络结构的反馈量；

根据所述反馈量更新所述第一网络结构。

2.根据权利要求1所述的网络结构搜索的方法，其特征在于，确定所述第二网络结构的反馈量，包括：

将所述第二网络结构训练至收敛以确定所述反馈量。

3.根据权利要求2所述的网络结构搜索的方法，其特征在于，将所述第二网络结构训练至收敛以确定所述反馈量，包括：

利用训练集将所述第二网络结构训练至收敛；

利用测试集预测收敛后的所述第二网络结构以确定所述反馈量。

4.根据权利要求1所述的网络结构搜索的方法，其特征在于，确定所述第二网络结构的反馈量，包括：

根据所述第二网络结构确定所述反馈量，所述第二网络结构未被训练至收敛。

5.根据权利要求4所述的网络结构搜索的方法，其特征在于，根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到目标网络结构，包括：

利用训练集训练所述搜索空间的总图，所述总图由所述操作连接而成；

根据第一网络结构对训练后的所述总图进行采样以得到所述目标网络结构；

根据所述第二网络结构确定所述反馈量，包括：

利用测试集预测所述第二网络结构以确定所述反馈量。

6.根据权利要求5所述的网络结构搜索的方法，其特征在于，利用训练集训练所述搜索空间的总图，包括：

在所述搜索空间的每个所述操作层采样一个所述操作以得到所述总图的子图；

利用所述训练集的一批数据训练所述子图。

7.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述第一网络结构是根据长短期记忆人工神经网络来构建，根据所述反馈量更新所述第一网络结构，通过以下公式实现：

其中，Rk为第k个所述反馈量，θc为所述长短期记忆人工神经网络的参数，at为在第t个所述操作层采样到的所述操作，为采样到所述操作的概率。m为所述反馈量的总数量，T为所述第一网络结构预测的超参数的数量。

8.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述第一网络结构是根据长短期记忆人工神经网络来构建，所述搜索空间的每个所述操作层对应于所述长短期记忆人工神经网络的一个时间步，对于每个所述时间步，所述长短期记忆人工神经网络的细胞输出一个隐状态，根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到目标网络结构，包括：

将所述隐状态映射为特征向量，所述特征向量的维度与每个所述操作层上的操作数量相同；

根据所述特征向量在每个所述操作层采样一个所述操作以得到所述目标网络结构。

9.根据权利要求8所述的网络结构搜索的方法，其特征在于，根据所述特征向量在每个所述操作层采样一个所述操作以得到所述目标网络结构，包括：

将所述特征向量进行归一化以得到每个所述操作层的每个所述操作的概率；

根据所述概率在每个所述操作层采样一个所述操作以得到所述目标网络结构。

10.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述第一网络结构根据卷积神经网络或循环神经网络构建。