[发明专利]基于硬件特性的模型剪枝方法、装置、设备及存储介质

说明书

本申请公开一种基于硬件特性的模型剪枝方法、装置、设备及存储介质，涉及神经网络领域，方法包括：确定原始网络模型的模型算力和目标硬件算力，设定网络模型的目标帧数；基于目标FPS确定网络模型的整体剪枝率以及原始网络模型中各层的剪枝敏感类型；根据各层的剪枝敏感类型以及整体剪枝率，确定模型各层的层间剪枝率，按照层间剪枝率进行模型剪枝；对剪枝后的模型进行重训练，并基于模型精度以及目标FPS输出目标网络模型。本方案通过将剪枝力度和硬件特性相结合，将细化的各神经网络层和目标硬件特性关联来确定具体的剪枝力度，其剪枝的细粒度更高，且充分利用了硬件资源，同时实现了较高的模型推理性能。

技术领域

本申请实施例涉及神经网络技术领域，特别涉及一种基于硬件特性的模型剪枝方法、装置及存储介质。

背景技术

近年来，随着人工智能的快速发展，各类模型被越来越多的应用到各个领域中，如视觉任务、NLP任务和语音识别任务等。在各类模型的使用过程中，针对训练完成的模型，用户希望能够在保证模型检测的精度的基础上，尽量减少模型的大小，降低模型推理时的计算量，提高推理性能。其中，剪枝作为一种基础压缩方法被广泛应用。模型剪枝主要方法通过去除模型中的权重、卷积核、神经元或其它网络结构，将密集型深度卷积神经网络转化为稀疏型的深度卷积神经网络，以满足计算机硬件，或满足认为设定的目标帧率。

相关技术中，模型剪枝根据粒度的不同，至少可以分为细粒度剪枝、向量剪枝、核剪枝以及滤波器剪枝。细粒度剪枝、向量剪枝、核剪枝方法在参数量与模型性能之间取得了一定的平衡，但是网络的拓扑结构本身发生了变化，需要专门的算法设计来支持这种稀疏的运算，被称之为非结构化剪枝。而滤波器剪枝只改变了网络中的滤波器组和特征通道数目，所获得的模型不需要专门的算法设计就能够运行，被称为结构化剪枝。

发明内容

本申请提供了一种基于硬件特性的模型剪枝方法、装置及存储介质。所述技术方案如下：

一方面，提供了一种基于硬件特性的模型剪枝方法，所述方法包括：

确定原始网络模型的模型算力和目标硬件算力，设定网络模型的目标帧数FPS；

基于所述目标FPS确定所述网络模型的整体剪枝率以及所述原始网络模型中各层的剪枝敏感类型，所述剪枝敏感类型用于表征模型各层剪枝力度和模型计算性能的关系；

根据各层的所述剪枝敏感类型以及所述整体剪枝率，确定模型各层的层间剪枝率，按照所述层间剪枝率进行模型剪枝；

对剪枝后的模型进行重训练，并基于模型精度以及所述目标FPS输出目标网络模型。

另一方面，提供了一种基于硬件特性的模型剪枝装置，所述装置包括：

第一确定模块，用于确定原始网络模型的模型算力和目标硬件算力，设定网络模型的目标帧数FPS；

第二确定模块，用于基于所述目标FPS确定所述网络模型的整体剪枝率以及所述原始网络模型中各层的剪枝敏感类型，所述剪枝敏感类型用于表征模型各层剪枝力度和模型计算性能的关系；

模型剪枝模块，用于根据各层的所述剪枝敏感类型以及所述整体剪枝率，确定模型各层的层间剪枝率，按照所述层间剪枝率进行模型剪枝；

模型训练模块，用于对剪枝后的模型进行重训练，并基于模型精度以及所述目标FPS输出目标网络模型。

另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所说的基于硬件特性的模型剪枝方法。