[发明专利]基于可微决策器和知识蒸馏的神经网络剪枝方法及系统

权利要求书

1.基于可微决策器和知识蒸馏的神经网络剪枝方法，其特征在于，包括以下步骤：

S1：对待剪枝的神经网络进行预训练；

S2：为预训练后的神经网络中的每一层卷积层构建一个可微决策器，并利用可微决策器对神经网络中的每一层卷积层进行采样并截断，得到每一层的剪枝率；

S3：根据神经网络中每一层的剪枝率和每一层的原始输出通道数，确定每一层剪枝后的输出通道数，对神经网络进行剪枝，得到剪枝后的神经网络；

S4：使用知识蒸馏方法对剪枝后的神经网络进行优化，得到优化后的神经网络；

S5：对优化后的神经网络进行训练，得到经过剪枝且恢复准确度的神经网络。

2.根据权利要求1所述的基于可微决策器和知识蒸馏的神经网络剪枝方法，其特征在于，S2具体包括以下步骤：

S2.1：为神经网络中的每一层卷积层添加一个可训练的可微决策器参数α_i和一个预设的方差σ²，可微决策器参数α_i和方差σ²组成高斯分布N(α_i,σ²)，所述高斯分布N(α_i,σ²)为神经网络第i层的可微决策器；整体神经网络的可微决策器的公式如下所示：

D＝{N(α₁,σ²),N(α₂,σ²),N(α₃,σ²),...,N(α_n,σ²)}

其中，n表示要剪枝的网络的层数；

S2.2：使用可微决策器N(α_i,σ²)对神经网络的第i层进行采样并截断，得到第i层的剪枝率r_i，并计算出剪枝率r_i对应的分布概率p_i。

3.根据权利要求2所述的基于可微决策器和知识蒸馏的神经网络剪枝方法，其特征在于，S2还包括以下步骤：

S2.3：计算剪枝率r_i对应的期望值Ex_i，具体包括以下步骤：

S2.3.1：使用可微决策器N(0,1)对神经网络的第i层采样得到数值ε；

S2.3.2：将x_i＝ε*σ+α_i设为可微决策器N(α_i,σ²)的采样结果，则剪枝率r_i对应的期望值Ex_i＝x_i/M；其中，M为采样的次数。

4.根据权利要求3所述的基于可微决策器和知识蒸馏的神经网络剪枝方法，其特征在于，S3具体包括以下步骤：

S3.1：根据神经网络的第i层的剪枝率r_i和第i层的原始输出通道数，确定第i层剪枝后的输出通道数c_i，其公式如下所示：

c_i＝r_i*c_imax

其中，c_imax表示第i层的原始输出通道数；

S3.2：根据输出通道数c_i对神经网络的第i层进行剪枝，得到剪枝后的神经网络，具体为：将神经网络第i层的前c_i个输出通道对应的输出特征图保留，其余的输出通道置零。

5.根据权利要求4所述的基于可微决策器和知识蒸馏的神经网络剪枝方法，其特征在于，S3还包括以下步骤：

S3.3：使用通道对齐方法，对剪枝后神经网络的第i层的输出特征图进行加权求和，将加权求和后的结果作为第i层的输出；

S3.4：根据剪枝率期望值Ex_i计算剪枝后神经网络的第i层的浮点运算数。