[发明专利]模型剪枝方法、装置及电子设备

权利要求书

1.一种模型剪枝方法，其特征在于，包括：

基于当前的第一神经网络的第一结构信息和对应的设定指标值，通过第二神经网络计算出第二结构信息；其中，初始的第一神经网络基于第三神经网络的第三结构信息构建；对应的设定指标值用于更新所述第二神经网络的权重参数，所述第二神经网络用于在更新权重参数之后，基于输入的所述第一结构信息输出所述第二结构信息；

基于所述第二结构信息对当前的第一神经网络进行结构更新；

在所述第二神经网络达到设定收敛条件的情况下，将结构更新后的第一神经网络确定为所述第三神经网络对应的模型剪枝结果；其中，

在第一神经网络构建初始或第一神经网络结构更新的情况下，基于设定的训练样本训练第一神经网络。

2.根据权利要求1所述的方法，其特征在于，构建初始的第一神经网络时，所述方法包括：

将所述第三神经网络的第三结构信息输入至所述第二神经网络，得到所述第二神经网络输出的第四结构信息；

基于所述第四结构信息构建初始的第一神经网络。

3.根据权利要求1所述的方法，其特征在于，所述通过第二神经网络计算出第二结构信息，包括：

采用至少一个设定的测试样本对当前的第一神经网络进行测试，得到所述至少一个设定的测试样本中的每个测试样本对应的测试结果；所述测试结果表征对应的测试样本对应的设定指标值；

基于所述至少一个设定的测试样本中的每个测试样本对应的测试结果，采用设定的损失函数计算所述第二神经网络对应的损失值；

根据计算出的损失值更新第二神经网络的权重参数；

在第二神经网络更新了权重参数的情况下，将当前的第一神经网络的第一结构信息输入至第二神经网络，得到第二神经网络输出的第二结构信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述第二结构信息对当前的第一神经网络进行结构更新，包括以下至少一项：

基于所述第二结构信息包括的拓扑结构，更新当前的第一神经网络的拓扑结构；

基于所述第二结构信息包括的对应层的权重通道数量，更新当前的第一神经网络的对应层的权重通道；所述权重通道数量表征对应层的输入通道数量和输出通道数量；

基于所述第二结构信息包括的对应层的权重精度，更新当前的第一神经网络的对应层的权重值；所述权重精度表征对应层的权重值所占的比特数；

基于所述第二结构信息包括的对应层的激活函数的输出精度，更新当前的第一神经网络的对应层的激活函数的输出精度；激活函数的输出精度表征对应的激活函数的输出结果的精度；

基于所述第二结构信息包括的对应层的权重的修剪阈值，更新当前的第一神经网络的对应层的权重值；其中，当对应层的权重值的绝对值小于对应的修剪阈值时，将对应的权重值置零；当对应层的权重值的绝对值大于或等于对应的修剪阈值时，保持对应层的权重值不变。

5.根据权利要求1或3所述的方法，其特征在于，所述设定指标值包括以下至少一项：

第一指标值；所述第一指标值表征当前的第一神经网络的性能参数；

至少一项第二指标值；所述第二指标值表征当前的第一神经网络在处理所述至少一个设定的测试样本中的每个测试样本时的成本参数。

6.根据权利要求1所述的方法，其特征在于，所述基于设定的训练样本训练第一神经网络时，所述方法包括：

确定所述设定的训练样本；其中，

所述设定的训练样本包括至少一个样本对；所述至少一个样本对中的每个样本对均包括输入样本和对应的第一标定样本；其中，第一标定样本用于与第一神经网络在输入对应的输入样本的情况下得到的输出结果进行比对；第一标定样本由对应的输入样本对应的第二标定样本和对应的参考样本确定出；第二标定样本表征所述第三神经网络的输入样本对应的标定样本；参考样本表征第三神经网络在输入对应的输入样本的情况下得到的输出结果。