[发明专利]一种高能效神经网络架构的搜索方法

说明书

一种高能效神经网络架构的搜索方法，包括：步骤1：构建层级运行时间与功率的多项式回归模型；步骤2：基于层级的运行时间和功率计算神经网络架构整体能耗；步骤3：将离散的搜索空间连续化；步骤4：把能耗作为搜索目标之一加入到神经网络架构搜索过程中。本发明用机器搜索的方式精准发现高能效网络架构、减少不必要的搜索开销。在网络架构能耗的测量中，利用多项式回归模型预测特定架构的能耗；在架构设计过程中，使用机器代替人工的方式自动搜索满足要求的架构，设计过程更加科学；利用连续化的搜索空间以及基于梯度下降的搜索方法，并在原来只搜索高精度神经网络架构的基础上新增高能效的目标，提升搜索效率的同时优化搜索结果。

技术领域

本发明涉及机器学习领域，特别涉及一种高能效神经网络架构的搜索方法。

背景技术

随着互联网时代的发展，深度神经网络在解决各种问题方面都表现出卓越的性能，但是由于其庞大的规模，传统的大型深度神经网络(VGG，AlexNet，GoogleNet等)在解决具体问题的时候往往计算速度缓慢并且能耗成本很高，这对提高其在实际工业领域的可用性带来巨大挑战，尤其是移动设备以及能源预算有限的环境下。因此迫切需要一种可以针对具体问题自动化地设计出小规模、高能效、高准确度的网络架构的方法。

目前神经网络架构搜索(NeuralArchitecture Search，下文简称NAS)的应用已经相当广泛，早期的NAS主要是以强化学习为搜索策略，比如Zoph等人提出的基于强化学习的NAS，使用递归神经网络作为神经网络架构生成器，并通过强化学习训练这个递归神经网络，使其能生成最佳网络结构，最终他们得到的模型优于其他类似的最新网络架构。后来为了提升NAS搜索效率，不少学者针对神经网络架构的评估环节进行优化，Pham等人提出ENAS，通过在各个网络之间共享权重来减少计算量，避免每个网络都要从头开始训练；Klein等人用一个模型拟合学习曲线，从而只需要对架构进行短时间的训练即可预测架构最终性能。

上述的NAS方法使神经网络结构的设计难题有了新的解决方式，传统人工定义的超参可以用机器搜索的方式更加科学地获取。但是仍然存在的问题是，搜索效率依然没有质的提升，搜索过程需要花费巨大的代价。此外，搜索得到的架构由于只注重预测精度，而忽略了其推理过程会产生的能耗，往往精度越高的网络是越健壮的，而越健壮的网络会产生越多的能耗。因此要降低神经网络的使用成本，必须在搜索时考虑能耗这个特性。

发明内容

本发明要克服现有技术的上述缺点，提供一种高能效神经网络架构的搜索方法。

本发明解决技术问题采用如下技术方案：

一种高能效神经网络架构的搜索方法，分为以下步骤：

步骤1：构建层级运行时间与功率的多项式回归模型；

步骤2：基于层级的运行时间和功率计算神经网络架构整体能耗；

步骤3：将离散的搜索空间连续化；

步骤4：把能耗作为搜索目标之一加入到神经网络架构搜索过程中。

作为本发明的进一步优化，所述步骤1的具体步骤为：

1)采集神经网络推理过程中各层的运行时间T与功率P；

2)对运行时间进行建模，记为模型分为两部分：K_T阶常规多项式和特殊多项式公式为：