[发明专利]神经网络剪枝方法、介质及电子设备

权利要求书

1.一种神经网络剪枝方法，其特征在于，所述神经网络剪枝方法包括：

对目标神经网络进行预训练，获得预训练神经网络；

对所述目标神经网络每层的剪枝率进行初始化以获得候选网络结构，所述候选网络结构的数量至少为三个；

采用进化算法搜索所述候选网络结构，获得最优候选网络结构，其中，所述进化算法的目标函数为关于至少两个性能指标的函数，且所述最优候选网络结构为一个或一个以上的所述候选网络结构，另外，在所述进化算法的搜索过程中，各所述候选网络结构均继承所述预训练神经网络的部分参数；

对所述最优候选网络结构进行剪枝，获得剪枝模型。

2.根据权利要求1所述的神经网络剪枝方法，其特征在于，所述性能指标包括：模型计算量、模型参数量、运行内存、前向推理时间和/或模型精度。

3.根据权利要求1所述的神经网络剪枝方法，其特征在于，在采用进化算法搜索所述候选网络结构之前，所述神经网络剪枝方法还包括：

对所述候选网络结构进行正则化训练，以获取稀疏化的候选网络结构。

4.根据权利要求3所述的神经网络剪枝方法，其特征在于，采用进化算法搜索所述候选网络结构，获得最优候选网络结构的实现方法包括：

基于所述候选网络结构获取所述进化算法的初始种群，其中，所述初始种群的个体与所述候选网络结构一一对应；

根据所述预训练神经网络的参数获取所述候选网络结构的参数；

通过前向传播算法处理训练数据集，以调节所述候选网络结构的归一化层的统计参数；

根据所述目标函数并通过变异、交叉和选择操作获取所述进化算法的非支配解集；

根据所述非支配解集中的个体获取所述最优候选网络结构。

5.根据权利要求4所述的神经网络剪枝方法，其特征在于：所述归一化层的统计参数包括均值和方差。

6.根据权利要求4所述的神经网络剪枝方法，其特征在于：所述初始种群中的每个个体均对应一个列表，所述列表的每个元素为所述候选网络结构中每层所需剪枝的卷积核通道数。

7.根据权利要求4所述的神经网络剪枝方法，其特征在于，对所述最优候选网络结构进行剪枝，获得剪枝模型的实现方法包括：

根据所述预训练神经网络的参数获取所述最优候选网络结构的参数；

对所述最优候选网络结构进行剪枝，获得所述剪枝模型；

基于所述训练数据集对所述剪枝模型进行重训练。

8.根据权利要求1所述的神经网络剪枝方法，其特征在于：所述进化算法包括多目标差分进化算法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现权利要求1-8任一项所述的神经网络剪枝方法。

10.一种电子设备，其特征在于，所述电子设备包括：

存储器，存储有一计算机程序；

处理器，与所述存储器通信相连，调用所述计算机程序时执行权利要求1-8任一项所述的神经网络剪枝方法。