[发明专利]一种剪枝神经网络方法、系统、设备及可读存储介质

权利要求书

1.一种剪枝神经网络方法，其特征在于，所述方法包括：

按照初始YOLOv3网络结构训练原始模型；

对所述原始模型进行残差模块和卷积通道的稀疏训练；

确定各个残差模块的重要性顺序；

按照残差模块的重要性排序和计划修剪的残差模块个数，对网络中不重要的残差模块进行修剪，同时修剪初始模型权重文件中的对应权重；对已修剪掉残差模块的网络和权重中的批标准化BN层比例系数γ的绝对值进行排序后，确定网络中剩余所有卷积层通道的所有重要性顺序；

按照卷积层通道的重要性排序和计划修剪的卷积层通道比例确定修剪卷积层通道的γ系数阈值，按照确定好的阈值进行卷积层通道的修剪；

对修剪后模型的权重进行训练微调；

评估修剪后模型的算力、帧率和精度，若符合要求，则输出压缩后的模型；若不符合要求，则修改稀疏训练参数和修剪参数，重新进行修剪。

2.如权利要求1所述的方法，其特征在于，所述对所述原始模型进行残差模块和卷积通道的稀疏训练，包括：

对于残差模块，在网络结构中的残差模块前添加可训练系数λ，并在对该系数进行L1范数正则化处理后稀疏训练；对于卷积通道，对连接在各卷积层之后的BN层中的比例系数γ进行L1范数正则化处理后进行稀疏训练；稀疏训练时，在损失函数后加上针对λ系数和γ系数的正则化项，进行训练；训练时对λ和γ以及其它可训练权重采用不同的迭代算法，对残差模块的λ系数，采用快速软阈值迭代算法进行求解；对BN层的γ系数和其它可训练权重，采用随机梯度算法进行求解。

3.如权利要求1所述的方法，其特征在于，所述确定各个残差模块的重要性顺序，包括：

对残差模块中的λ系数的绝对值进行排序；所述稀疏训练后的残差模块λ系数的绝对值大小代表网络中各个残差模块的重要性。

4.如权利要求1所述的方法，其特征在于，所述对修剪后模型的权重进行训练微调，包括：

加载修剪后的网络结构和模型权重进行训练；在Pytorch框架下用SGD算法进行迭代。

5.一种剪枝神经网络系统，其特征在于，所述系统包括：

原始模型训练模块，用于按照初始YOLOv3网络结构训练原始模型；

稀疏训练模块，用于对所述原始模型进行残差模块和卷积通道的稀疏训练；

残差重要性排序模块，用于确定各个残差模块的重要性顺序；

残差裁剪模块，用于按照残差模块的重要性排序和计划修剪的残差模块个数，对网络中不重要的残差模块进行修剪，同时修剪初始模型权重文件中的对应权重；对已修剪掉残差模块的网络和权重中的批标准化BN层比例系数γ的绝对值进行排序后，确定网络中剩余所有卷积层通道的所有重要性顺序；

卷积裁剪模块，用于按照卷积层通道的重要性排序和计划修剪的卷积层通道比例确定修剪卷积层通道的γ系数阈值，按照确定好的阈值进行卷积层通道的修剪；

微调模块，用于对修剪后模型的权重进行训练微调；

模型评估模块，用于评估修剪后模型的算力、帧率和精度，若符合要求，则输出压缩后的模型；若不符合要求，则修改稀疏训练参数和修剪参数，重新进行修剪。

6.如权利要求5所述的系统，其特征在于，所述稀疏训练模块，具体用于：

对于残差模块，在网络结构中的残差模块前添加可训练系数λ，并在对该系数进行L1范数正则化处理后稀疏训练；对于卷积通道，对连接在各卷积层之后的BN层中的比例系数γ进行L1范数正则化处理后进行稀疏训练；稀疏训练时，在损失函数后加上针对λ系数和γ系数的正则化项，进行训练；训练时对λ和γ以及其它可训练权重采用不同的迭代算法，对残差模块的λ系数，采用快速软阈值迭代算法进行求解；对BN层的γ系数和其它可训练权重，采用随机梯度算法进行求解。

7.如权利要求5所述的系统，其特征在于，所述残差重要性排序模块，具体用于：

对残差模块中的λ系数的绝对值进行排序；所述稀疏训练后的残差模块λ系数的绝对值大小代表网络中各个残差模块的重要性。