[发明专利]基于硬件特性的模型剪枝方法、装置、设备及存储介质

权利要求书

1.一种基于硬件特性的模型剪枝方法，其特征在于，所述方法包括：

确定原始网络模型的模型算力和目标硬件算力，设定网络模型的目标帧数FPS；

基于所述目标FPS确定所述网络模型的整体剪枝率以及所述原始网络模型中各层的剪枝敏感类型；所述剪枝敏感类型用于表征模型各层剪枝力度和模型计算性能的关系；

根据各层的所述剪枝敏感类型以及所述整体剪枝率，确定模型各层的层间剪枝率，按照所述层间剪枝率进行模型剪枝；

对剪枝后的模型进行重训练，并基于模型精度以及所述目标FPS输出目标网络模型。

2.根据权利要求1所述的方法，其特征在于，所述目标FPS确定所述网络模型的整体剪枝率以及所述网络模型中各层的剪枝敏感类型，包括：

当所述目标硬件运行所述原始模型获得的FPS小于所述目标FPS时，根据两者的比列关系确定所述整体剪枝率；

加载RoofLine模型，并对所述网络模型的全连接层和卷积层进行分析，分别计算出模型中各个全连接层和卷积层的计算量和访存量；

分别基于所述计算量和所述访存量计算获得全连接层和卷积层的计算密度；

基于所述计算密度分别确定各个全连接层和卷积层的剪枝敏感类型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述计算密度分别确定各个全连接层和卷积层的剪枝敏感类型，包括：

确定所述目标硬件的内存带宽和峰值计算速度，基于加载的RoofLine模型确定硬件算力和计算密度的计算关系图；RoofLine模型用于描述在硬件算力和带宽的限制下，程序所能达到的理论性能上界；

基于所述计算密度对应的计算速度和峰值计算速度的大小，分别确定各个全连接层和卷积层的剪枝敏感类型；其中，当计算密度所对应的计算速度小于峰值计算速度时为访存密集型，当计算密度所对应的计算速度大于峰值计算速度时为计算密集型。

4.根据权利要求3所述的方法，其特征在于，所述根据各层的所述剪枝敏感类型以及所述整体剪枝率，确定模型各层的层间剪枝率，按照所述层间剪枝率进行模型剪枝，包括：

将计算密集型所对应的第一目标剪枝层进行归类汇总，获得第一列表；将计算密集型的第二目标剪枝层进行归类汇总，获得第二列表；

计算所述第一列表中所述第一目标剪枝层的计算速度和所述峰值计算速度之间的差值，根据差值确定各个所述第一目标剪枝层的第一层间剪枝率；

当所述第一层间剪枝率之和不小于所述整体剪枝率时，根据所述第一层间剪枝率对模型的所述第一目标剪枝层进行模型剪枝。

5.根据权利要求3所述的方法，其特征在于，当所述第一层间剪枝率之和小于所述整体剪枝率时，确定和所述整体剪枝率的剪枝率差值；

基于所述剪枝率差值和所述第二列表中所述第二目标剪枝层的计算密度的大小，确定所述第二层间剪枝率；

基于所述第一层间剪枝率和所述第二剪枝率对所述第一目标剪枝层和所述第二目标剪枝层进行模型剪枝。

6.根据权利要求1所述的方法，其特征在于，所述对剪枝后的模型进行重训练，并基于模型精度以及所述目标FPS输出目标网络模型，包括：

将剪枝后的模型和所述原始网络模型作为输入，采用知识蒸馏策略对剪枝后的模型进行迭代重训练；

当所述模型精度达到原始模型精度的预设范围，且训练后的FPS达到所述目标FPS时，输出所述目标网络模型。

7.根据权利要求4所述的方法，其特征在于，所述计算所述第一列表中所述第一目标剪枝层的计算速度和所述峰值计算速度之间的差值，根据差值确定各个所述第一目标剪枝层的第一层间剪枝率，包括：

分别对所述第一目标剪枝层中的n个待剪枝层按照计算量大小进行升序排列，并根据计算量大小计算第一贡献度分数；将访存量大小进行降序排列，并根据访存量大小计算获得第二贡献度分数；

将所述n个待剪枝层的所述第一贡献度分数和所述第二贡献度分数进行加权求和，获得目标剪枝分数，根据所述目标剪枝分数的降序排列依次确定所述第一层间剪枝率；n是大于0的正整数。