[发明专利]神经网络结构搜索方法及相关装置

说明书

本申请公开了一种神经网络结构搜索方法及相关装置。在该神经网络结构搜索方法中，电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。本申请可基于分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群，从而优化搜索空间。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络结构搜索方法及相关装置。

背景技术

人工智能领域，尤其是计算机视觉领域，针对不同任务需要设计不同的神经网络结构，以满足不同任务的需求。神经网络结构搜索（neural architecture search，NAS）是通过特定的算法搜索出表现优秀的深度学习网络结构。然而，神经网络结构的搜索空间一般十分庞大，需要花费巨量的时间进行神经网络结构搜索。

因此，如何优化搜索空间是一个亟待解决的问题。

发明内容

本申请提供了一种神经网络结构搜索方法及相关装置，能够初始化神经网络结构中进化算法的种群，从而优化搜索空间。

第一方面，本申请提供了一种神经网络结构搜索方法，该方法包括：电子设备确定搜索空间中各个模型的第一性能指标和第二性能指标的分布空间，第一性能指标和第二性能指标是各个模型在终端设备上的表现力指标；电子设备利用分布空间中第一性能指标不变的情况下，第二性能指标最优和/或次优的模型的集合，初始化神经网络结构搜索中进化算法的种群。

实施第一方面提供的方法后，电子设备利用搜索空间中各个模型在终端设备上的表现力指标的分布空间中，一个表现力指标不变，另一个表现力指标最优和/或次优的模型，初始化进化算法的种群，从而减少进化算法的迭代次数，进而优化搜索空间。

结合第一方面提供的方法，该电子设备确定初始化后的种群，作为神经网络结构搜索的次优解。

这样，对时间或者资源十分紧张的任务来说，可以通过初始化后的种群，直接得到神经网络结构的次优解，进而减少搜索的时间。

结合第一方面提供的方法，该方法还包括，该电子设备利用训练服务器对初始化后的种群进行代理训练，当针对初始化后的种群的代理训练全部完成时，电子设备利用进化算法更新初始化后的种群，直至更新后的种群处于稳定态时，确定处于稳定态的种群中各个模型的第三性能指标和第四性能指标的二维帕累托pareto边缘图；电子设备获取二维帕累托pareto边缘图中第三性能指标不变的情况下，第四性能指标最优的模型的集合，作为神经网络结构搜索的最优解。第四性能指标是处于稳定态的种群中各个模型在训练服务器上的表现力指标；最优解是二维帕累托pareto边缘图中第三性能指标不变，第四性能指标最优的模型的集合。其中，第三性能指标是处于稳定态的种群中各个模型在终端设备上的表现力指标，也就是说，第三性能指标可以是第一性能指标或第二性能指标。

这样，因搜索空间十分庞大（如搜索空间中模型的数量十分庞大），初始化后的种群中的模型的数量相较于，电子设备基于搜索空间初始化神经网络结构搜索中进化算法的种群，得到的模型的数量更少。进而，电子设备基于进化算法对初始化后的种群进行更新，获得神经网络结构搜索的最优解过程中，进化算法迭代次数和搜索训练次数更少，从而减少搜索的时间。

结合第一方面提供的方法，各个模型在终端设备上的表现力指标包括各个模型在终端设备上运行的时延Latency和表征各个模型在终端设备上的计算复杂度的每秒十亿次浮点运算数Gflops；各个模型在训练服务器上的表现力指标包括其训练的损失Loss、准确率（accuracy，Acc）。

第二方面，本申请实提供一种神经网络搜索装置，该神经网络搜索装置可包括：