[发明专利]模型剪枝方法、装置及电子设备

说明书

本申请公开了一种模型剪枝方法、装置及电子设备。该方法包括：基于当前的第一神经网络的第一结构信息和对应的设定指标值，通过第二神经网络计算出第二结构信息；初始的第一神经网络基于第三神经网络的第三结构信息构建；对应的设定指标值用于更新第二神经网络的权重参数，所述第二神经网络用于在更新权重参数之后，基于输入的所述第一结构信息，输出所述第二结构信息；基于所述第二结构信息对当前的第一神经网络进行结构更新；在所述第二神经网络达到设定收敛条件的情况下，将结构更新后的第一神经网络确定为所述第三神经网络对应的模型剪枝结果；在第一神经网络构建初始或第一神经网络结构更新的情况下，基于设定的训练样本训练第一神经网络。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型剪枝方法、装置及电子设备。

背景技术

由于神经网络模型需要较多的计算资源和存储资源支持，而移动终端的计算资源和存储资源有限，从而限制了神经网络模型在移动终端的应用。相关技术中，通过对神经网络模型进行剪枝处理来降低神经网络的运算量，以降低神经网络对计算资源和存储资源的消耗。但是，对神经网络模型进行剪枝处理的过程较复杂，需要消耗较多时间，效率较低。

发明内容

有鉴于此，本申请实施例期望提供一种模型剪枝方法、装置及电子设备，以解决相关技术中对神经网络模型进行剪枝处理的过程较复杂，需要消耗较多时间的技术问题。

为达到上述目的，本申请的技术方案是这样实现的：

本申请实施例提供一种模型剪枝方法，包括：

基于当前的第一神经网络的第一结构信息和对应的设定指标值，通过第二神经网络计算出第二结构信息；其中，当前的第一神经网络基于设定的训练样本完成训练；初始的第一神经网络基于第三神经网络的第三结构信息构建；对应的设定指标值用于更新所述第二神经网络的权重参数，所述第二神经网络用于在更新权重参数之后，基于输入的所述第一结构信息输出所述第二结构信息；

基于所述第二结构信息对当前的第一神经网络进行结构更新；

在所述第二神经网络达到设定收敛条件的情况下，将结构更新后的第一神经网络确定为所述第三神经网络对应的模型剪枝结果；其中，

在第一神经网络构建初始或第一神经网络结构更新的情况下，基于设定的训练样本训练第一神经网络。

上述方案，构建初始的第一神经网络时，所述方法包括：

将所述第三神经网络的第三结构信息输入至所述第二神经网络，得到所述第二神经网络输出的第四结构信息；

基于所述第四结构信息构建初始的第一神经网络。

上述方案，所述通过第二神经网络计算出第二结构信息，包括：

采用至少一个设定的测试样本对当前的第一神经网络进行测试，得到所述至少一个设定的测试样本中的每个测试样本对应的测试结果；所述测试结果表征对应的测试样本对应的设定指标值；

基于所述至少一个设定的测试样本中的每个测试样本对应的测试结果，采用设定的损失函数计算所述第二神经网络对应的损失值；

根据计算出的损失值更新第二神经网络的权重参数；

在更新了权重参数的情况下，将当前的第一神经网络的第一结构信息输入至第二神经网络，得到第二神经网络输出的第二结构信息。

上述方案，所述基于所述第二结构信息对当前的第一神经网络进行结构更新，包括以下至少一项：

基于所述第二结构信息包括的拓扑结构，更新当前的第一神经网络的拓扑结构；