[发明专利]一种对预训练的神经网络模型进行剪枝的方法

权利要求书

1.一种对预训练的神经网络模型进行剪枝的方法，其中将所述预训练的神经网络模型作为基线模型，其特征在于，包括：

S1、选择所述基线模型中需要剪枝的网络层作为目标网络层；

S2、获取目标网络层中多个卷积核的各权重参数对应的梯度值；

S3、针对所述目标网络层，基于每个卷积核的各权重参数对应的梯度值确定该卷积核中重要的权重参数的数量；

S4、针对所述目标网络层，根据其所有的卷积核中重要的权重参数的数量对所述目标网络层进行剪枝；

S5、对剪枝后的模型进行重训练，得到压缩后的模型。

2.根据权利要求1所述的方法，其特征在于，所述需要剪枝的网络层按照以下方式中的一种或者多种方式确定：

通过层号、网络层名称选择特定的网络层作为需要剪枝的网络层，或者

将网络层的计算量大于等于预设的计算量阈值的网络层作为需要剪枝的网络层，或者

将网络层的权重参数的参数量大于等于预设的参数量阈值的网络层作为需要剪枝的网络层，或者

将网络层的计算量占比大于等于预设的计算量占比阈值的网络层作为需要剪枝的网络层，或者

将网络层的权重参数的参数量占比大于等于预设的参数量占比阈值的网络层作为需要剪枝的网络层。

3.根据权利要求1所述的方法，其特征在于，所述S3包括：

S31、计算每个卷积核的所有权重参数对应的梯度值中绝对值最大的梯度值，根据设置的搜索步数上限和所述绝对值最大的梯度值的绝对值确定该卷积核的多个搜索阈值；

S32、每步搜索利用每个卷积核各自对应的多个搜索阈值中的一个搜索阈值搜索权重参数对应的梯度绝对值大于等于该搜索阈值的权重参数的个数，直至相邻两步搜索出的权重参数的个数的绝对差值小于设定停止阈值时停止搜索，其中，当前的搜索步数越接近搜索步数上限其对应的搜索阈值越接近当前目标网络层中绝对值最大的梯度值的绝对值；

S33、将权重参数对应的梯度绝对值大于等于停止搜索时对应的搜索阈值的权重参数的个数作为该卷积核中重要的权重参数的数量。

4.根据权利要求1所述的方法，其特征在于，所述S3包括：

S31’、计算每个卷积核的所有权重参数对应的梯度值中绝对值最大的梯度值，根据设置的搜索步数上限和所述绝对值最大的梯度值的绝对值确定该卷积核的多个搜索阈值；

S32’、每步搜索利用每个卷积核各自对应的多个搜索阈值中的一个搜索阈值搜索权重参数对应的梯度绝对值小于该搜索阈值的权重参数的个数，确定每步搜索的剩余参数量，直至相邻两步搜索后的剩余参数量的绝对差值小于设定停止阈值时停止搜索，其中，当前的搜索步数越接近搜索步数上限其对应的搜索阈值越接近当前目标网络层中绝对值最大的梯度值的绝对值；

S33’、对每个卷积核，确定对该卷积核停止搜索时所采用的搜索阈值，将梯度值的绝对值小于该搜索阈值的权重参数置零；

S34’、计算每个卷积核中非零的权重参数的数量，将其作为该卷积核中重要的权重参数的数量。

5.根据权利要求3或者4所述的方法，其特征在于，按照以下公式确定各卷积核的多个搜索阈值：

其中，表示第l个网络层的第t个卷积核的第i步搜索的搜索阈值，表示第l个网络层的第t个卷积核的绝对值最大的梯度值的绝对值，m_i表示第i步搜索，m表示用户设置的搜索步数上限。

6.根据权利要求3或者4所述的方法，其特征在于，所述搜索步数上限的设置范围为[50,300]。

7.根据权利要求3或者4所述的方法，其特征在于，停止阈值根据以下公式确定：

其中，γ表示用户设置的调整系数，表示第l个网络层的第t个卷积核的权重参数p的数量，m表示用户设置的搜索步数上限。