[发明专利]一种基于群智能优化的图像分类卷积神经网络设计方法

权利要求书

1.一种基于群智能优化的图像分类卷积神经网络设计方法，其特征在于，包括以下步骤：

S1：对输入图片数据集进行预处理，后将数据集划分为训练数据集和测试数据集，其中训练数据集划分为训练集和验证集；

S2：设计卷积神经网络搜索空间，并引入禁用层，采用可变长编码映射方法对卷积神经网络进行编码，当编码值属于禁用层范围时，该层在解码过程中被移除；

S3：随机创建候选卷积神经网络集作为初始种群，根据适应度值选择出当前种群中个体最优和全局最优个体，采用粒子群优化算法更新当前种群并持续迭代，迭代完成后得到性能最优的卷积神经网络模型；

S4：以S3中得到的卷积神经网络模型作为父代，引入不同类型的优化器和不同学习率构成多个组合优化器，以卷积神经网络和组合优化器的结合构成初始化种群并进行训练，在每一次训练中，选择出当前最优个体与组合优化器组合形成下一代种群，训练一定次数后，得到用于图像分类的最优卷积神经网络结构和相应的权值。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，其具体操作为：

a)通过随机水平翻转、随机旋转和随机裁剪的方式对分类图片进行图像增强；

b)输入图片进行归一化操作；

c)预处理完成后，将数据集划分为训练数据集和测试数据集，其中训练集进一步划分为训练集和验证集，划分比例为8:2。

3.根据权利要求1所述的方法，其特征在于，步骤S2中，其具体操作为：

a)所述卷积神经网络搜索空间包括卷积层、池化层、全连接层和激活函数；

b)在搜索空间中引入禁用层；

c)采用可变长编码映射方法对卷积神经网络进行编码，所述可变长编码映射方法具体步骤如下：确定卷积层、池化层、全连接层和禁用层的编码范围；将编码拆分为整数部分和小数部分，其中，整数部分用二进制进行编码，小数部分用2ⁿ形式进行编码，式中n为小数部分的数值大小。

4.根据权利要求1所述的方法，其特征在于，步骤S3中，其具体操作为：

a)随机创建候选卷积神经网络个体：初始化一个长度为m的个体向量，最多具有n个全连接层数，所述个体向量中第一位表示一个卷积层，第m位表示分类层；第二位到(m-n)位的任意一位表示卷积层、池化层和禁用层任意一层；(m-n)位到(m-1)位的任意一位表示卷积层、池化层、全连接层和禁用层任意一层，且一旦出现全连接层，则之后的层均为全连接层；

b)根据图像分类任务的评估方式，将候选卷积神经网络在训练集训练固定次数后，将验证集上的准确率作为候选个体的适应度值；

c)基于b中的适应度值选择出个体最优和全局最优个体，引入粒子群优化算法，对种群中个体进行更新，更新公式为；

v_ij(t+1)＝c₁(t)v_ij(t)+c₂(t)r₁(t)[P_lb(t)-x_ij(t)]+c₃(t)r₂(t)[P_gb(t)-x_ij(t)]

x_ij(t+1)＝x_ij(t)+v_ij(t+1)

式中，t为迭代代数，v_ij是第i个粒子第j维的速度，x_ij是第i个粒子第j维的位置，c₁为惯性随机数，c₂为自身认知系数，c₃为社会学习系数，r₁、r₂分别为两个独立的随机数，P_lb和P_gb分别为个体最优，即到目前为止找到的最好位置和全局最优粒子，即当前种群到目前为止找到最优的位置；

在迭代过程中，由于引入了禁用层卷积神经网络的深度是可变的，迭代完成后，选择出最优的个体训练直至收敛，在这过程中采用的损失函数具体公式如下：

式中y_i表示Softmax损失函数接收到的特征值，N表示一个批次的图片数量，n表示分类的类别。

5.根据权利要求1所述的方法，其特征在于，步骤S4中，其具体操作为：

a)引入Stochastic gradient descent(SGD)、Adadelta和Adam 3个优化器与3个不同的学习率组合构成9个不同学习率的组合优化器，基于S3中最优的网络结构作为父代，与不同的组合优化器相结合生成新的种群；

b)在训练过程中，在训练集上训练个体，将验证集上每个epoch的准确率作为个体的适应度值，每个epoch后选择全局最优个体，与9个组合优化器组合形成下一代种群；

c)迭代完成后，保留最优卷积神经网络结构和相应的权值。