[发明专利]基于Split LBI算法的自动网络增长方法

权利要求书

1.一种基于Split LBI算法的自动网络增长方法，用于对卷积神经网络中卷积层的卷积核以及线性层的线性单元进行自动化增长，从而在不改变网络结构的情况下优化并训练该卷积神经网络，其特征在于，包括如下步骤：

步骤S1，进行初始化操作，该初始化操作包括：

将所述卷积神经网络中的各个所述卷积层的卷积核初始化为8或16个，

将所述卷积神经网络中的各个所述线性层的线性单元初始化为64或128，

初始化优化器并将要增长的所述卷积层或所述线性层输入所述优化器中，

确定增长所述卷积核或所述线性单元的稠密阈值，

获取训练数据并进行数据增强预处理；

步骤S2，通过所述优化器并利用所述训练数据对所述卷积神经网络训练一定的遍历次数；

步骤S3，根据所述卷积神经网络中所有的所述卷积层或所述线性层计算稠密程度参数，

若所述稠密程度参数大于所述稠密阈值则在当前的所述卷积层或所述线性层对所述卷积核或所述线性单元进行增长从而形成新的所述卷积神经网络，

若所述稠密程度参数不大于所述稠密阈值则停止增长；

步骤S4，重复所述步骤S2至所述步骤S3直至停止增长从而得到增长完成的所述卷积神经网络；

步骤S5，调整所述优化器的学习率并对增长完成的所述卷积神经网络训练100次数据遍历从而得到训练完成的所述卷积神经网络。

2.一种基于Split LBI算法的自动网络增长方法，用于对卷积神经网络中卷积层的卷积核以及线性层的线性单元进行自动化增长并对卷积层进行自动化增长，从而优化并训练该卷积神经网络，其特征在于，包括如下步骤：

步骤T1，进行初始化操作，该初始化操作包括：

将所述卷积神经网络划分为多个模块，每个所述模块含有1或2个所述卷积层，

将各个所述卷积层的卷积核初始化为8或16个并使得每个所述模块中的所述卷积层使用相同的卷积核，

将所述卷积神经网络中的各个线性层的线性单元初始化为64或128，

初始化优化器并依次将各层所述卷积层输入所述优化器中，

确定增长所述卷积核或所述线性单元的稠密阈值以及增长所述卷积层的提升阈值，

获取训练数据并对该训练数据进行数据增强预处理；

步骤T2，通过所述优化器根据所述训练数据将所述卷积神经网络训练一定的遍历次数；

步骤T3，根据所述卷积神经网络中所有的所述卷积层或所述线性层计算稠密程度参数，

若所述稠密程度参数大于所述稠密阈值则在当前的所述卷积层或所述线性层对所述卷积核或所述线性单元进行增长，

若所述稠密程度参数不大于所述稠密阈值则停止增长；

步骤T4，重复所述步骤T2至所述步骤T3直至所有所述卷积层的所述卷积核以及所有所述线性层的所述线性单元都停止增长；

步骤T5，依次选择一个所述模块并为该模块增长一个或两个卷积层；

步骤T6，通过所述优化器根据所述训练数据将所述卷积神经网络训练一定的遍历次数；

步骤T7，计算所述模块增长后的所述卷积神经网络的模型分类性能，

若该模型分类性能的提升幅度没有超过所述增长阈值则停止增长当前所述模块的卷积层；

步骤T8，重复所述步骤T5至所述步骤T7，直到所有所述模块的所述卷积层都停止增长；

步骤T9，调整所述优化器的学习率并对所述卷积神经网络训练100次数据遍历从而得到训练完成的所述卷积神经网络。

3.根据权利要求1或2所述的基于Split LBI算法的自动网络增长方法，其特征在于：

其中，所述卷积层的稠密程度参数是根据Split LBI算法得到的范数非零的卷积核数量与该卷积层的所有卷积核数量的比值，

所述线性层的稠密程度参数是根据Split LBI算法得到的范数非零的线性单元数量与该线性层的所有线性单元数量的比值。

4.根据权利要求1或2所述的基于Split LBI算法的自动网络增长方法，其特征在于：

其中，所述遍历次数为30或40epochs。