[发明专利]神经网络结构搜索方法及相关装置

权利要求书

1.一种神经网络结构搜索方法，其特征在于，所述方法包括：

确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，所述第一性能指标和所述第二性能指标是所述各个模型在终端设备上的表现力指标；

利用所述分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定初始化后的种群，作为神经网络结构搜索的次优解。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用训练服务器对初始化后的种群进行代理训练，当针对所述初始化后的种群的所述代理训练全部完成时，利用所述进化算法更新所述初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；

获取所述二维帕累托pareto边缘图中第三性能指标不变的情况下，所述第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解；所述第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，所述第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；所述最优解是所述二维帕累托pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述各个模型在终端设备上的表现力指标包括所述各个模型在终端设备上运行的时延Latency和表征所述各个模型在所述终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops。

5.根据权利要求3所述的方法，其特征在于，

所述各个模型在训练服务器上的表现力指标包括其训练的损失Loss、准确率Acc。

6.一种神经网络结构搜索装置，其特征在于，所述装置包括：

确定单元，用于确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，所述第一性能指标和所述第二性能指标是所述各个模型在终端设备上的表现力指标；

初始化单元，用于利用所述分布中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。

7.根据权利要求6所述的装置，其特征在于，所述确定单元还用于：

确定初始化后的种群，作为神经网络结构搜索的次优解。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括处理单元和获取单元：

所述处理单元，用于利用训练服务器对初始化后的种群进行代理训练，当针对所述初始化后的种群的所述代理训练全部完成时，利用所述进化算法更新所述初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；

所述获取单元，用于获取所述二维帕累托pareto边缘图中第三性能指标不变的情况下，所述第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解；所述第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，所述第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；所述最优解是所述二维帕累托pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。

9.根据权利要求6至8任一项所述的装置，其特征在于，

所述各个模型在终端设备上的表现力指标包括所述各个模型在终端设备上运行的时延Latency和表征所述各个模型在所述终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops。

10.根据权利要求8所述的装置，其特征在于，

所述各个模型在训练服务器上的表现力指标包括其训练的损失Loss、准确率Acc。