[发明专利]一种神经网络架构搜索方法、系统、设备及可读存储介质

说明书

本发明公开了种神经网络架构搜索方法、系统、设备及可读存储介质，初始化DARTS网络的相关参数，将图像训练集输入至初始化后的DARTS网络中，根据目标函数计算损失值，根据梯度信息使用二阶泰勒展开式计算出网络损失变化，使用基于突触显著性的评分指标计算指标显著性，采用连接敏感性指标到神经网络架构搜索，用来指示操作的重要性，将可微架构结构搜索定义为初始化时的网络剪枝，在网络剪枝的初始化中采用称为操作显著性度量，实验结果表明，该框架是一种有前景的、可靠的可微神经结构搜索解决方案，在不同基准数据集和DARTS搜索空间上都取得了良好的性能。本发明方法非常高效，可以在几秒钟内完成架构搜索。

技术领域

本发明属于人工智能技术领域，涉及一种神经网络架构搜索方法、系统、设备及可读存储介质。

背景技术

深度学习在计算机视觉中的成功在很大程度上要归功于人类专家的深厚的先验专业知识，然而这种手动设计成本高昂，并且随着网络变得越来越大和越来越复杂变得越来越困难。神经网络架构搜索(NAS)使神经网络设计过程自动化，因此受到广泛关注。然而这种方法对计算能力的需求非常高，早期的NAS方法需要花费数千个GPU来寻找高效的网络架构。为了提高效率，最近的许多研究已经转向降低搜索成本，其中最流行的范式之一被称为可微神经网络架构搜索(DARTS)框架。DARTS采用连续松弛将操作选择问题转换为一组候选操作的连续幅度优化，然后将其转化为双层优化问题，在权重中通过梯度下降交替优化架构参数和模型权重。

尽管可微神经网络架构搜索(DARTS)由于其简单和高效已经成为神经网络架构搜索(NAS)的主流范式，但最近的研究发现，随着DARTS的优化进程，搜索体系结构的性能几乎没有提高，因为他们只是简单地将相应体系结构的参数值作为体系结构选择的重要指标。这将导致从搜索空间中选择的网络架构通常陷入次优状态，这表明DARTS所获得的网络架构参数最终值几乎无法表明操作的重要性。以上的观察表明，DARTS中的监督信号对于网络架构搜索来说可能是一个较差或不可靠的指标，Wang et al.最近的一项工作表明，dart经过超级网络训练后获得的体系结构参数的大小是根本错误的，几乎不能表明操作的重要性。更有趣的是，有几个研究利用简单的早停策略在搜索过程中中断超级网络训练，而这可以显著提高DARTS的性能。这些经验观察表明，超级网络训练随着搜索的进展而恶化性能。

网络剪枝是一种压缩过参数神经网络的有效方法，它通过去除参数而使神经网络的性能退化最小。DARTS的最后一个离散化阶段，即根据操作的大小从超参数化的超网络中选择一个离散的体系结构，可以认为是一个操作级网络剪枝，基于这个动机，Architecturesearch,anneal and prune.In International Conference on ArtificialIntelligence and Statistics,pages 493–503.PMLR,2020.提出了一个可微的可退火搜索空间，可以在搜索过程中逐步修剪劣等操作。由于在搜索过程中减少了候选操作的数量，还可以加速搜索。同样，Progressive differentiable architecture search:Bridgingthe depth gap between search and evaluation.In Proceedings of the IEEEInternational Conference on Computer Vision也在搜索过程中对cell候选操作进行修剪，同时逐步增加网络深度，以缓解体系结构搜索和评估过程中的深度差距，这些操作都在一定程度上加速了网络的搜索过程，但是对于网络架构搜索来说，过重的搜索成本依然使得其应用场景有限。

发明内容

本发明的目的在于提供一种神经网络架构搜索方法、系统、设备及可读存储介质，解决现有的DARTS算法过于沉重的搜索成本和搜索指标不能反映操作的重要性问题。

一种神经网络架构搜索方法，包括以下步骤：

S1，初始化DARTS网络的相关参数；