[发明专利]神经网络剪枝方法、介质及电子设备

说明书

本发明提供一种神经网络剪枝方法、介质及电子设备。所述神经网络剪枝方法包括：对目标神经网络进行预训练，获得预训练神经网络；对所述目标神经网络每层的剪枝率进行初始化以获得候选网络结构，所述候选网络结构的数量至少为三个；采用进化算法搜索所述候选网络结构，获得最优候选网络结构，另外，在所述进化算法的搜索过程中，各所述候选网络结构均继承所述预训练神经网络的部分参数；对所述最优候选网络结构进行剪枝，获得剪枝模型。该方法能够快速获得一系列不同压缩程度的剪枝网络并且实现至少两个剪枝指标之间的平衡，减少剪枝所需要的计算资源和时间成本。

技术领域

本发明涉及一种神经网络的压缩方法，特别是涉及一种神经网络剪枝方法、介质及电子设备。

背景技术

近年来，以卷积神经网络为代表的深度学习算法在计算机视觉、自然语言处理、语音识别等领域取得了突破性的进展。虽然常见的神经网络模型在多个任务上都取得了超越人类的表现，但这仅仅是科研层面的尝试，在实际部署过程中，神经网络模型高存储、高功耗的缺点严重制约着其在资源有限的平台以及在需要实时在线处理的场景中应用，如何减小神经网络模型的存储空间和运算量，并且保证神经网络的性能不变或仅仅微弱下降是目前的研究热点之一。现有的模型压缩优化方法包括：低秩分解、网络剪枝、模型量化、知识蒸馏和紧凑网络设计等。

剪枝技术通过去除神经网络的冗余连接来减少模型的复杂度，以此起到压缩神经网络的效果。对于模型的压缩率，通常根据人为的需求或经验确定总的剪枝率，并为每一层卷积层分配相同的剪枝阈值。这种处理方式导致剪枝过程的效率不高，一次完整的剪枝流程只能得到一个预期压缩量的剪枝模型。与此同时，当均匀剪枝的策略涉及两个或以上的性能指标时，难以实现各性能指标之间的平衡。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种神经网络剪枝方法、介质及电子设备，用于解决现有技术中剪枝过程效率不高以及多性能指标之间不平衡等问题。

为实现上述目的及其他相关目的，本发明的第一方面提供一种神经网络剪枝方法，所述神经网络剪枝方法包括：对目标神经网络进行预训练，获得预训练神经网络；对所述目标神经网络每层的剪枝率进行初始化以获得候选网络结构，所述候选网络结构的数量至少为三个；采用进化算法搜索所述候选网络结构，获得最优候选网络结构，其中，所述进化算法的目标函数为关于至少两个性能指标的函数，且所述最优候选网络结构为一个或一个以上的所述候选网络结构，另外，在所述进化算法的搜索过程中，各所述候选网络结构均继承所述预训练神经网络的部分参数；对所述最优候选网络结构进行剪枝，获得剪枝模型。

于所述第一方面的一实施例中，所述性能指标包括：模型计算量、模型参数量、运行内存、前向推理时间和/或模型精度。

于所述第一方面的一实施例中，在采用进化算法搜索所述候选网络结构之前，所述神经网络剪枝方法还包括：对所述候选网络结构进行正则化训练，以获取稀疏化的候选网络结构。

于所述第一方面的一实施例中，根据目标函数并通过进化算法搜索所述候选网络结构，获得最优候选网络结构的实现方法包括：基于所述候选网络结构获取所述进化算法的初始种群，其中，所述初始种群的个体与所述候选网络结构一一对应；根据所述预训练神经网络的参数获取所述候选网络结构的参数；通过前向传播算法处理训练数据集，以调节所述候选网络结构的归一化层的统计参数；根据所述目标函数并通过变异、交叉和选择操作获取所述进化算法的非支配解集；根据所述非支配解集中的个体获取所述最优候选网络结构。

于所述第一方面的一实施例中，所述归一化层的统计参数包括均值和方差。

于所述第一方面的一实施例中，所述初始种群中的每个个体均对应一个列表，所述列表的每个元素为所述候选网络结构中每层所需剪枝的卷积核通道数。