[发明专利]一种改进的基于超网络的进化神经网络架构搜索方法

权利要求书

1.一种改进的基于超网络的进化神经网络架构搜索方法，其特征在于，包括以下步骤：

步骤S1，以输入层为第一层，封装五个计算模块；每个模块中封装M个计算节点，最后以全连接层作为神经网络的输出层；所述M为大于1的自然数；

步骤S2，通过混合编码方式对神经网络结构编码，并将神经网络内部计算节点的连接二值化；随机产生N条染色体，构建为原始种群；任一染色体内部的计算节点数小于预设染色体的总计算节点数；所述N为大于1的自然数；

步骤S3，针对所述种群中的个体均匀采样，基于训练数据训练，为每个计算节点学习结构权值，并采用验证集分类精度作为适应度函数对个体进行适应度评估；

步骤S4，采用二元锦标赛选择法，构建父代种群P；

步骤S5，基于给定的交叉率p_c，采用混合交叉法对所述父代种群中的染色体个体进行两两交叉，得到数个新染色体，组成子代种群Q；

步骤S6，基于给定的变异率p_m，采用混合变异法，对子代种群Q中的个体执行变异操作；

步骤S7，子代种群Q中的每个个体解码为对应的神经网络，通过继承或随机初始化的方式获得结构权值，并采用验证集分类精度作为适应度函数对个体进行适应度评估；

步骤S8，将父代种群P和子代种群Q合并为种群R，采用环境选择法选出数个个体作为下一代的原始种群，并反馈至步骤S4，直到到达预定的最大进化代数；进化结束之后，将适应度值最高的个体作为最优的神经网络架构输出。

2.根据权利要求1所述的一种改进的基于超网络的进化神经网络架构搜索方法，其特征在于，所述输入层依次由卷积层、ReLU激活函数和批量归一化层封装组成。

3.根据权利要求1所述的一种改进的基于超网络的进化神经网络架构搜索方法，其特征在于，步骤S1中，所述计算节点为神经网络中的计算单元，可从操作搜索空间θ中随机选取；第一计算模块、第三计算模块、第五计算模块中所有的计算节点步长为1；第二计算模块、第四计算模块中的所有计算节点步长为2。

4.根据权利要求1所述的一种改进的基于超网络的进化神经网络架构搜索方法，其特征在于，步骤S2中，所述的混合编码方式为一种整数和二进制数相结合的编码方式；利用整数编码描述神经网络架构内部计算节点的类型和节点与节点之间的连接关系；利用二进制数将所述神经网络架构内部计算节点的连接关系二值化，描述两个计算节点之间的连接是否被激活；具体为：

步骤S21，一个计算节点编码为一个五元组其中，表示计算节点i中所包含的计算单元a；I₁，I₂表示计算节点i相连接的计算单元的索引，即计算节点i和计算节点I₁，I₂相互连接；I₁，I₂为一组整数；J₁，J₂为一组二进制数表示将计算节点i和计算节点I₁，I₂连接方式的四种状态，具体为：J₁＝0，J₂＝0，表示计算节点i和计算节点I₁，I₂的连接均处于激活状态；则此时，计算节点I₁，I₂的输出的特征图融合之后，作为计算节点i的输入；计算节点i的输出δ为：

J₁＝0，J₂＝1，表示计算节点i和计算节点I₁的连接被激活，计算节点i和计算节点I₂的连接被关闭；则此时，计算节点i的输出δ为：

J₁＝1，J₂＝0，表示计算节点i和计算节点I₁的连接被关闭，计算节点i和计算节点I₂的连接被激活；则此时，计算节点i的输出δ为：

J₁＝1，J₂＝1，表示计算节点i和计算节点I₁，I₂的连接均处于关闭状态；即当前计算节点i被屏蔽；则此时，计算节点I₁，I₂的输出的特征图融合之后，不经过计算节点处理直接作为计算节点i的输出值δ：

δ＝I₁(x_c)+I₂(x_d)

其中，x_c，x_d分别为计算节点I₁，I₂的输入，I₁(x_c)，I₂(x_d)分别为计算节点I₁，I₂的输出表示计算节点I₁，I₂的输出特征图I₁(x_c)，I₂(x_d)融合，作为计算节点i的输入，由计算单元处理之后，作为计算节点i的输出；

步骤S22，所述计算模块包含有M个计算节点；则此时一个计算模块的编码结构为：

步骤S23，所述染色体为一个神经网络架构，每个神经网络架构内包含五个计算模块；则此时，一个神经网络架构的编码结构为：