[发明专利]一种改进的基于超网络的进化神经网络架构搜索方法

说明书

本发明涉及一种改进的基于超网络的进化神经网络架构搜索方法。包括以下步骤：步骤S1，以输入层为第一层，封装五个计算模块；步骤S2，将神经网络内部计算节点的连接二值化；步骤S3，为每个计算节点学习结构权值，步骤S4，采用二元锦标赛选择法，构建父代种群P。步骤S5，组成子代种群Q。步骤S6，对子代种群Q中的个体执行变异操作。步骤S7，子代种群Q中的每个个体解码为对应的神经网络，获得结构权值；步骤S8，将父代种群P和子代种群Q合并为种群R，采用环境选择法选出数个个体作为下一代的原始种群，并反馈至步骤S4，直到到达预定的最大进化代数。进化结束之后，将适应度值最高的个体作为最优的神经网络架构输出。

技术领域

本发明涉及图像分类模型构建技术领域，尤其涉及一种改进的基于超网络的进化神经网络架构搜索方法。

背景技术

图像分类(image classification)任务是基于图片中所反映的不同特征信息，将不同类别的目标区别开的图像处理技术。由于许多应用于图像分类任务的模型可作为特征提取网络迁移至其他的计算机视觉领域，因此，图像分类任务是计算机视觉领域的一个基本任务，图像分类模型的设计也是研究人员关注的热点。但是，人工设计神经网络模型需要经验丰富的专家，通过对数据集的分布及特征仔细研究，反复试验，才能设计出性能优秀的神经网络模型。因此，需要耗费巨大的时间、人力成本。

目前，神经网络架构搜索算法(Neural Architecture Search,NAS)引起了研究人员的广泛关注。此类算法能够让没有太多专业知识的情况下，基于给定的数据集自动设计出有效的神经网络架构。由于NAS算法通常需要对搜索空间中的神经网络模型持续评估，需要大量的计算机算力。为了提高NAS算法的搜索效率，目前有两种主要方法：

第一种方法是构建一种端到端的性能预测器(End-to-End PerformancePredictor)。这种方法需要一种编码方法，将神经网络架构唯一映射到一组数字决策变量中。之后将该神经网络架构的编码和其性能表现(例如，分类的准确度)构成一个数据对，作为性能预测器的输入，对性能预测器进行训练。性能预测器训练完成之后，可以直接预测搜索空间内神经网络模型的性能，无需对神经网络模型进行训练，进而提高了搜索效率。但是，这种方法遵循先训练后预测的方式，需要先利用一组训练样本对该性能预测器进行训练。一般来说，训练的样本越多，预测器的性能就越好。然而，收集更多的训练样本意味着要消耗更多的计算资源，因此对搜索效率造成一定的影响。因此，在实际的使用中，需要利用增量策略采样更有效的神经网络架构，需要一定的计算成本。

第二种方法是基于超网络的神经网络架构搜索方法(One-shot NeuralArchitecture Search)。这种方法需要首先训练一个超网络(One-shot model)作为搜索空间；然后从该超网络中随机采样一定数量的子网络进行性能评估，并根据子网络的性能，对子网络进行排名；最后，将性能评估最好的子网络作为算法的输出。由于子网络可以从超网络中继承权值，无需训练即可评估，因此，可以有效的提高NAS算法的搜索效率。然而，现有的基于超网络的神经网络架构搜索算法存在有一定的缺陷。首先，超网络内部节点训练不均衡，导致子网络评估阶段的性能排名不准确，进而导致算法并没有找到性能最佳的网络架构。其次，在训练超网络时，不同子网络之间的相互干扰可能导致基于超网络的神经网络架构搜索算法不稳定，超网络收敛速度较慢，甚至无法收敛，进而导致子模型的性能预测结果较差。

发明内容

针对现有技术中基于超网络的神经网络架构搜索方法表现不稳定，超网络训练收敛速度较慢甚至无法收敛等不足，本发明要解决的技术问题是提供一种基于超网络的进化神经网络架构搜索方法，使用进化算法作为搜索策略基于超网络自动生成神经网络架构，以此来提高图像分类任务的分类准确性。

为了解决上述技术问题，本发明采用技术方案为：

一种改进的基于超网络的进化神经网络架构搜索方法，其特征在于，包括以下步骤：