[发明专利]一种构建神经网络架构搜索的方法、设备和智能设备

说明书

本发明提供了一种构建神经网络架构搜索的方法、设备和智能设备，该方法包括以下步骤：搜索卷积神经网络架构，并选取搜索到的卷积神经网络架构中性能最好的卷积神经网络架构；使用网络态射对性能最好的卷积神经网络架构进行优化，并对优化后的卷积神经网络架构进行采样；使用模拟退火算法对采样后获得的子网络进行优化；使用优化后的子网络对卷积神经网络架构进行多次网络态射以得到神经网络架构搜索。通过使用本发明的方案，能够仅需少量训练可实现一个训练有素的深度学习网络，可直接迁移至其他应用场景，具有容易拓展，评估表现更好，资源占用更轻量化的优点。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种构建神经网络架构搜索的方法、设备和智能设备。

背景技术

自从2012年Imagenet竞赛上，AlexNet面世以来，深度学习网络不断发展，VGGNet、GoogLeNet、Inception、ResNet、YOLO、SSD、RetinaNet等一系列网络次第出现，在图像任务、自然语言处理任务和语音识别任务上的表现不断提升。虽然这些模型虽然能够达到较好的表现结果，但是手工设计模型对从业人员的要求比较高，众多的超参数和网络结构参数调优耗时冗长，面向新的应用场景时无法快速建模。

此背景下，自动化深度学习(Auto Deep Learning)技术应运而生，现在主要有基于强化学习的AutoDL和基于进化算法的AutoDL，前者主要通过神经网络架构搜索(NeuralArchitecture Search)框架与环境交互的过程中获得最大的奖励实现，主要代表算法有NASNet、MetaQNN、BlockQNN等；后者主要是NAS模拟生物遗传和进化的规律，用进化算法实现，主要代表算法有NEAT、DeepNEAT、CoDeepNEAT等。

现有的神经网络架构搜索方法占用计算资源多，训练一个有效的深度学习网络耗时较长，生成的模型往往庞大而冗余，模型的部署和泛化较为困难。

发明内容

有鉴于此，本发明实施例的目的在于提出一种构建神经网络架构搜索的方法、设备和智能设备，通过使用本发明的方法，能够仅需少量训练可实现一个训练有素的深度学习网络，可直接迁移至其他应用场景，具有容易拓展，评估表现更好，资源占用更轻量化的优点。

基于上述目的，本发明的实施例的一个方面提供了一种构建神经网络架构搜索的方法，包括以下步骤：

搜索卷积神经网络架构，并选取搜索到的卷积神经网络架构中性能最好的卷积神经网络架构；

使用网络态射对性能最好的卷积神经网络架构进行优化，并对优化后的卷积神经网络架构进行采样；

使用模拟退火算法对采样后获得的子网络进行优化；

使用优化后的子网络对卷积神经网络架构进行多次网络态射以得到神经网络架构搜索。

根据本发明的一个实施例，使用网络态射对性能最好的卷积神经网络架构进行优化包括：

初始化一个预训练网络，作为网络态射的父网络；

对初始化的预训练的网络进行网络态射以获得子网络；

选出所有子网络中表现结果最优的子网络，以最优的子网络作为新的父网络返回重复前一步骤以迭代优化。

根据本发明的一个实施例，子网络继承父网络的训练数据。

根据本发明的一个实施例，对优化后的卷积神经网络架构进行采样包括：

以网络加深、加入Conv-Batchnorm-ReLU模块、加入位置和卷积层的卷积核大小进行随机均匀采样，通道数与上一卷积层的通道数相等；

以网络加宽、增加通道数、卷积层和加宽因子进行随机均匀采样；