[发明专利]一种构建神经网络架构搜索的方法、设备和智能设备

权利要求书

1.一种构建神经网络架构搜索的方法，其特征在于，包括以下步骤：

搜索卷积神经网络架构，并选取搜索到的卷积神经网络架构中性能最好的卷积神经网络架构；

使用网络态射对所述性能最好的卷积神经网络架构进行优化，并对优化后的卷积神经网络架构进行采样；

使用模拟退火算法对采样后获得的子网络进行优化；

使用优化后的子网络对卷积神经网络架构进行多次网络态射以得到所述神经网络架构搜索。

2.根据权利要求1所述的方法，其特征在于，使用网络态射对所述性能最好的卷积神经网络架构进行优化包括：

初始化一个预训练网络，作为网络态射的父网络；

对初始化的所述预训练的网络进行网络态射以获得子网络；

选出所有子网络中表现结果最优的子网络，以所述最优的子网络作为新的父网络返回重复前一步骤以迭代优化。

3.根据权利要求2所述的方法，其特征在于，所述子网络继承父网络的训练数据。

4.根据权利要求1所述的方法，其特征在于，对优化后的卷积神经网络架构进行采样包括：

以网络加深、加入Conv-Batchnorm-ReLU模块、加入位置和卷积层的卷积核大小进行随机均匀采样，通道数与上一卷积层的通道数相等；

以网络加宽、增加通道数、卷积层和加宽因子进行随机均匀采样；

添加第i层到第j层的跳层连接层进行随机均匀采样。

5.根据权利要求1所述的方法，其特征在于，所述模拟退火算法包括：

将初始温度设为T，温度下限设为T_min，初始解状态为x，每个T值的迭代次数为L；

响应于L＝1,2,...,L，产生新解x_new，x_new＝x+Δx，Δx为[d_min,d_max]之间的随机数；

计算增量Δf＝f(x_new)-f(x)，其中f(x)为优化目标；

响应于Δf0，则接受x_new作为新的当前解；

响应于Δf0，则以概率exp(-Δf/(kT))接受x_new作为新的当前解；

响应于满足终止条件，则输出当前解作为最优解，结束程序；

响应于T逐渐减少且TT_min，重复上述步骤。

6.一种构建神经网络架构搜索的设备，其特征在于，所述设备包括：

搜索模块，所述搜索模块配置为搜索卷积神经网络架构，并选取搜索到的卷积神经网络架构中性能最好的卷积神经网络架构；

采样模块，所述采样模块配置为使用网络态射对所述性能最好的卷积神经网络架构进行优化，并对优化后的卷积神经网络架构进行采样；

优化模块，所述优化模块配置为使用模拟退火算法对采样后获得的子网络进行优化；

迭代模块，所述迭代模块配置为使用优化后的子网络对卷积神经网络架构进行多次网络态射以得到所述神经网络架构搜索。

7.根据权利要求6所述的设备，其特征在于，所述采样模块还配置为：

初始化一个预训练网络，作为网络态射的父网络；

对初始化的所述预训练的网络进行网络态射以获得子网络；

选出所有子网络中表现结果最优的子网络，以所述最优的子网络作为新的父网络返回重复前一步骤以迭代优化。

8.根据权利要求7所述的设备，其特征在于，所述子网络继承父网络的训练数据。

9.根据权利要求6所述的设备，其特征在于，所述采样模块还配置为：

以网络加深、加入Conv-Batchnorm-ReLU模块、加入位置和卷积层的卷积核大小进行随机均匀采样，通道数与上一卷积层的通道数相等；

以网络加宽、增加通道数、卷积层和加宽因子进行随机均匀采样；

添加第i层到第j层的跳层连接层进行随机均匀采样。

10.一种智能设备，所述设备包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实施权利要求1-5所述的方法。