[发明专利]一种神经网络压缩方法及系统

说明书

本发明公开了一种神经网络压缩方法及系统，在待压缩神经网络中添加显著性表征网络；然后在保持待压缩神经网络的参数不变的情况下，训练添加显著性表征网络后的待压缩神经网络，训练完成后，利用与预设压缩需求对应的目标样本集得到用于表征待压缩神经网络中输出通道重要性的信息；最后基于用于表征待压缩神经网络中通道重要性的信息，对待压缩神经网络执行与预设压缩需求对应的操作得到压缩后的神经网络。本发明利用显著性表征网络，确定出待压缩神经网络中各通道的重要性，与人为或随机选择相比，可以更有效、全面、自动化的对各通道的重要性进行建模表达，避免了结构化剪枝过程中人为或随机选择造成的重要通道被剪枝的情况。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络压缩方法及系统。

背景技术

现有的神经网络模型的压缩方法可分为结构化剪枝和非结构化剪枝两大类，非结构化剪枝可以对神经网络模型中的任意参数进行剪枝，通常直接将被剪枝/压缩的参数设置为零，从而减少运算量；结构化剪枝通常以神经网络模型中的通道(channel)为单位进行剪枝/压缩，被剪枝的通道会被直接从网络结构中删除，从而达到缩小网络结构，减少计算量的目的。结构化剪枝一般通过建立多个通道间的关系，根据关系中的某种评测各个通道重要性的指标，对通道进行重要性排序，并删除重要性低的通道。

现有技术中在通过结构化剪枝操作压缩神经网络模型时，通常利用人为设计出来的指标，计算出神经网络模型中各个通道的重要性，然后删除重要性低的通道。或者，采用随机选择的方式，选择要删除的通道。例如：基于通道间的相似性，保留重要的或者较为特别的通道，删掉不重要的或者相似度高的通道，这种做法有一定几率会把对识别起重要的作用、影响识别性能的通道剪枝掉，尤其是采用随机地删除部分相似通道的方法进行剪枝时。

因此，如何避免结构化剪枝过程中人为或随机选择造成的重要通道被剪枝的情况，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种神经网络压缩方法及系统，以避免结构化剪枝过程中人为或随机选择造成的重要通道被剪枝的情况发生。

一种神经网络压缩方法，包括：

获取待压缩神经网络，所述待压缩神经网络为预先训练完成后的神经网络；

在所述待压缩神经网络中添加显著性表征网络；

在保持所述待压缩神经网络的参数不变的情况下，训练添加所述显著性表征网络后的所述待压缩神经网络；

获取与预设压缩需求对应的目标样本集；

将所述目标样本集输入训练后的添加显著性表征网络的待压缩神经网络，获取用于表征所述待压缩神经网络中通道重要性的信息；

基于所述用于表征所述待压缩神经网络中通道重要性的信息，对所述待压缩神经网络执行与所述预设压缩需求对应的操作，得到压缩后的神经网络。

可选的，所述在所述待压缩神经网络中添加显著性表征网络包括：

在所述待压缩神经网络包括多个待压缩神经网络层，所述显著性表征网络包括多个显著性表征子网络的情况下，在每一个待压缩神经网络层之后添加一个显著性表征子网络。

可选的，每个显著性表征子网络包括高维含义重要性通道和/或物理含义重要性通道。

可选的，所述物理含义重要性通道包括多个物理含义重要性子通道。

可选的，所述基于所述用于表征所述待压缩神经网络中通道重要性的信息，对所述待压缩神经网络执行与所述预设压缩需求对应的操作，得到压缩后的神经网络的过程包括：

利用所述用于表征所述待压缩神经网络中通道重要性的信息计算通道特征值；

获取依据所述预设压缩需求确定的第一预设压缩通道数；