[发明专利]网络训练方法、电子设备及计算机可读存储装置

说明书

本申请公开了一种网络训练方法、电子设备及计算机可读存储装置。该网络训练方法包括：基于目标网络构建剪枝网络，剪枝网络以目标网络中的主干网络的网络通道向量作为输入训练生成通道权重矩阵；根据通道权重矩阵对目标网络的主干网络进行剪枝，得到剪枝主干网络；利用剪枝主干网络训练目标网络，得到轻量化的目标网络。通过上述方式，本申请能够轻量化目标网络，减少目标网络使用时的资源占用与消耗时长。

技术领域

本申请涉及数据处理领域，特别是涉及一种网络训练方法、电子设备及计算机可读存储装置。

背景技术

近年来，深度学习技术获得了飞速的发展，被应用于越来越多的工作任务上。但是由于深度学习模型在运行时需要大量的计算资源、内存占用和电能消耗，使用时需要耗费大量资源这一点成为落地应用实时推理或在资源有限的边缘设备和浏览器上运行深度学习模型的瓶颈。

发明内容

本申请主要目的是提供一种网络训练方法、电子设备及计算机可读存储装置，能够解决深度学习模型在使用应用时需要占用大量资源的技术问题。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种网络训练方法。该方法包括：基于目标网络构建剪枝网络，剪枝网络以目标网络中的主干网络的网络通道向量作为输入训练生成通道权重矩阵；根据通道权重矩阵对目标网络的主干网络进行剪枝，得到剪枝主干网络；利用剪枝主干网络训练目标网络，得到轻量化的目标网络。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种电子设备。该电子设备包括存储器和处理器，存储器用于存储程序数据，程序数据能够被处理器执行，以实现如第一个技术方案中所述的方法。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种计算机可读存储装置。该计算机可读存储装置存储有程序数据，能够被处理器执行，以实现如第一个技术方案中所述的方法。

本申请的有益效果是：通过对目标网络中的主干网络设置剪枝网络，该剪枝网络能够以主干网络的通道向量作为输入得到代表各个网络通道对于该主干网络的重要性权重值的通道权重矩阵。根据该通道权重矩阵对主干网络进行剪枝，将权重值不高的网络通道进行剔除，得到剪枝主干网络。利用剪枝后的主干网络代替原本的主干网络对目标网络进行训练，由于剪枝后的主干网络已经剔除了权重值不高的网络通道，因此训练后得到的目标网络也未包含这些网络通道以及其对应的参数，从而实现目标网络的轻量化，在保证目标网络精度的情况下，减少目标网络在使用时的资源占用与消耗时长。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请网络训练方法第一实施例的流程示意图；

图2是本申请网络训练方法第二实施例的流程示意图；

图3是根据通道权重进行剪枝的一示意图；

图4是根据通道权重进行剪枝的又一示意图；

图5是本申请网络训练方法第三实施例的流程示意图；

图6是本申请网络训练方法第四实施例的流程示意图；

图7是本申请网络训练方法一具体实施例的流程示意图；

图8是本申请电子设备一实施例的结构示意图；

图9是本申请计算机可读存储装置一实施例的结构示意图。

具体实施方式