[发明专利]一种基于节点抑制的卷积神经网络剪枝方法

摘要

本发明公开了一种基于节点抑制的卷积神经网络剪枝方法。它通过抑制网络中部分节点，计算损失函数并根据节点的重要性对其进行筛选的神经网络剪枝方法，能在不影响网络精度的基础上，实现神经网络的压缩和加速。本发明通过采用上述技术，得到基于节点抑制的卷积神经网络剪枝方法，它通过去除神经网络中冗余的节点实现网络的加速和压缩；根据网络损失函数判断每个节点抑制后对网络的影响，结合网络剪枝操作和再训练，能在不影响神经网络精度的基础上，实现神经网络的压缩和加速，减少了神经网络中大量的计算量和参数数量，加快神经网络的运算，解决了深度学习难以应用在现实场景中的问题。

主权项

1.一种基于节点抑制的卷积神经网络剪枝方法，其特征在于包括如下步骤：步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N0＝{Li|i＝1,2,3,…,n0}，其中Li＝{cij|j＝1,2,3,…m}表示网络中第i层，n0表示集合N0中的网络层数，cij表示Li层中的第j个节点，m表示Li层中的节点数量；步骤2：读入目标样本图像Sample；步骤3：逐层逐点地对神经网络中的网络节点进行节点抑制，计算节点失活对网络损失函数的影响，具体如下：步骤3.1：复制初始网络结构N0，得新的网络结构N1＝{Li|i＝1,2,3,…,n1}，其中n1表示集合N1中的网络层数；步骤3.2：从步骤3.1的网络结构集合N1中的最后一层Ln1选取一个节点，并抑制神经网络N0中对应的节点cn1j，并将图像Sample输入网络结构N0中进行前向传播，根据损失函数得到该节点的损失偏差In1j；步骤3.3：重新激活N0中最后一层的节点cn1j，并将该对应节点从N1中剔除；步骤3.4：重复步骤3.2到3.3直至N1中Ln1层无网络节点，则删除第n1层，得该层的网络损失偏差ILn1＝{In1j|j＝1,2,3,…,m}；步骤3.5：重复步骤3.2到3.3直至N1中无网络层，得神经网络中所有节点的损失偏差集合IN＝{Iij|i＝1,2,3,…,n0，j＝1,2,3,…,m}；步骤4：计算步骤3.5所得的损失偏差集合IN中所有元素的平均值，得节点偏差均值Iavg；步骤5：对初始网络结构N0中满足式(1)条件的节点逐个进行剪枝，得剪枝后的网络结构Nafter；步骤6：通过样本数据集对步骤5的网络结构Nafter进行再训练，得到最后的网络Nfinal。