[发明专利]一种基于剪枝的神经网络模型构建方法及相关装置

权利要求书

1.一种基于剪枝的神经网络模型构建方法，其特征在于，包括：

S1：将预置神经网络模型的初始权重值按照预置顺序排列，得到初始权重值序列；

S2：根据剪枝阈值对所述预置神经网络模型进行剪枝操作，得到第一剪枝神经网络模型，所述剪枝阈值根据所述初始权重值序列和所述预置神经网络模型的总分支数量确定，步骤S2，包括：

根据预置剪枝比例和所述预置神经网络模型中的总分支数量计算剪枝数量；

通过所述剪枝数量和所述初始权重值序列获取相应的所述剪枝阈值；

将所述预置神经网络模型中小于所述剪枝阈值的所述初始权重值置零，得到所述第一剪枝神经网络模型；

S3：将所述第一剪枝神经网络模型经过重训练得到的误差函数进行泰勒展开，并进行泰勒优化计算得到误差变化值，步骤S3，包括：

获取重训练后的所述第一剪枝神经网络模型的所述误差函数；

将所述误差函数进行泰勒展开，得到泰勒误差函数；

采用预置拉格朗日算法对所述泰勒误差函数进行泰勒优化计算，得到所述误差变化值；

S4：在所述误差变化值小于误差阈值时，将重训练后的所述第一剪枝神经网络模型作为预置神经网络模型，重复步骤S1-S3；

S5：在所述误差变化值大于所述误差阈值时，丢弃本次剪枝操作得到的所述第一剪枝神经网络模型，并将上一次剪枝操作得到且重训练后的第二剪枝神经网络模型代替所述预置神经网络模型，重复步骤S1-S3；

S6：在所述误差变化值连续预置次数大于所述误差阈值时，则停止剪枝操作，获取目标神经网络模型，所述目标神经网络模型为上一次所述误差变化值小于所述误差阈值时对应的剪枝神经网络模型。

2.根据权利要求1所述的基于剪枝的神经网络模型构建方法，其特征在于，步骤S1之前还包括：

对原始神经网络模型进行预训练操作，得到所述预置神经网络模型。

3.一种基于剪枝的神经网络模型构建装置，其特征在于，包括：

排列模块，用于将预置神经网络模型的初始权重值按照预置顺序排列，得到初始权重值序列；

剪枝模块，用于根据剪枝阈值对所述预置神经网络模型进行剪枝操作，得到第一剪枝神经网络模型，所述剪枝阈值根据所述初始权重值序列和所述预置神经网络模型的总分支数量确定，所述剪枝模块，包括：

计算子模块，用于根据预置剪枝比例和所述预置神经网络模型中的总分支数量计算剪枝数量；

获取子模块，用于通过所述剪枝数量和所述初始权重值序列获取相应的所述剪枝阈值；

剪枝子模块，用于将所述预置神经网络模型中小于所述剪枝阈值的所述初始权重值置零，得到所述第一剪枝神经网络模型；

计算模块，用于将所述第一剪枝神经网络模型经过重训练得到的误差函数进行泰勒展开，并进行泰勒优化计算得到误差变化值，所述计算模块，包括：

重训练子模块，用于获取重训练后的所述第一剪枝神经网络模型的所述误差函数；

泰勒展开子模块，用于将所述误差函数进行泰勒展开，得到泰勒误差函数；

优化计算子模块，用于采用预置拉格朗日算法对所述泰勒误差函数进行泰勒优化计算，得到所述误差变化值；

第一判断模块，用于在所述误差变化值小于误差阈值时，将重训练后的所述第一剪枝神经网络模型作为预置神经网络模型，触发所述排列模块；

第二判断模块，用于在所述误差变化值大于所述误差阈值时，丢弃本次剪枝操作得到的所述第一剪枝神经网络模型，并将上一次剪枝操作得到且重训练后的第二剪枝神经网络模型代替所述预置神经网络模型，触发所述排列模块；

第三判断模块，用于在所述误差变化值连续预置次数大于所述误差阈值时，则停止剪枝操作，获取目标神经网络模型，所述目标神经网络模型为上一次所述误差变化值小于所述误差阈值时对应的剪枝神经网络模型。

4.根据权利要求3所述的基于剪枝的神经网络模型构建装置，其特征在于，还包括：

预训练模块，用于对原始神经网络模型进行预训练操作，得到所述预置神经网络模型。