[发明专利]一种基于剪枝的神经网络模型构建方法及相关装置

说明书

本申请公开了一种基于剪枝的神经网络模型构建方法及相关装置，方法包括：将预置神经网络模型的权重值进行顺序排列，然后通过根据神经网络模型总分支的数量和权重序列确定的剪枝阈值对预置神经网络模型进行剪枝，得到第一剪枝神经网络模型，并计算其重训练后的误差函数进行泰勒展开，以及计算，得到误差变化值；通过判断误差变化值与误差阈值之间的大小关系对神经网络模型进行循环式剪枝操作，得到优化的目标神经网络模型。本申请解决了现有神经网络模型的压缩优化方法设计困难，适用度受限，且压缩后的模型精确度损失较大的技术问题。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种基于剪枝的神经网络模型构建方法及相关装置。

背景技术

近年来，深度学习技术突破了传统机器学习束缚，能够提取各类数据中复杂精细的特征，大大提高各领域的机器学习性能，特别是卷积神经网络强大的自我编码能力，使得它广泛应用于在图像识别、目标检测、语义分割等领域，促进人工智能技术迅速发展。但是，神经网络的性能提升伴随着巨大的存储空间和复杂的运算等代价，从而对其运用造成了一定的阻碍。深度卷积神经网络因规模庞大、计算复杂而限制了其在实时要求高和资源受限环境下的应用，因此有必要对神经网络现有的结构进行优化压缩和加速。

目前，大量的卷积神经网络加速方法大致可分为五类，新型网络模块设计、知识蒸馏、低秩分解和网络量化。新型网络模块设计方法使用到很多模块进行设计，新模块有效减少了模型参数量和计算量，但是设计新模块需要经验技巧，要设计出实用的新模块较困难；知识蒸馏方法是将复杂网络提取的有用信息转移到简单网络中，使学习的小型网络具有接近复杂网络的性能，该方法对损失函数和训练的要求较为刻板，导致应用受限；低秩分解法主要用于模型压缩和加速，该方法包括分解操作，需要付出较大的计算代价；网络量化方法的主要思想是通过减少每个权重所需的比特数来压缩卷积神经网络模型，该方法在大型识别任务上识别精度损失严重。可以发现，现有的神经网络模型的压缩优化方法要么设计起来太过困难，要么适用度受限，甚至有些方法在压缩处理后直接影响了模型的精确度。

发明内容

本申请提供了一种基于剪枝的神经网络模型构建方法及相关装置，用于解决现有神经网络模型的压缩优化方法设计困难，适用度受限，且压缩后的模型精确度损失较大的技术问题。

有鉴于此，本申请第一方面提供了一种基于剪枝的神经网络模型构建方法，包括：

S1：将预置神经网络模型的初始权重值按照预置顺序排列，得到初始权重值序列；

S2：根据剪枝阈值对所述预置神经网络模型进行剪枝操作，得到第一剪枝神经网络模型，所述剪枝阈值根据所述初始权重值序列和所述预置神经网络模型的总分支数量确定；

S3：将所述第一剪枝神经网络模型经过重训练得到的误差函数进行泰勒展开，并进行泰勒优化计算得到误差变化值；

S4：在所述误差变化值小于误差阈值时，将重训练后的所述第一剪枝神经网络模型作为预置神经网络模型，重复步骤S1-S3；

S5：在所述误差变化值大于所述误差阈值时，丢弃本次剪枝操作得到的所述第一剪枝神经网络模型，并将上一次剪枝操作得到且重训练后的第二剪枝神经网络模型代替所述预置神经网络模型，重复步骤S1-S3；

S6：在所述误差变化值连续预置次数大于所述误差阈值时，则停止剪枝操作，获取目标神经网络模型，所述目标神经网络模型为上一次所述误差变化值小于所述误差阈值时对应的剪枝神经网络模型。

优选地，步骤S1之前还包括：

对原始神经网络模型进行预训练操作，得到所述预置神经网络模型。

优选地，步骤S2，包括：

根据预置剪枝比例和所述预置神经网络模型中的总分支数量计算剪枝数量；

通过所述剪枝数量和所述初始权重值序列获取相应的所述剪枝阈值；