[发明专利]压缩/解压缩神经网络模型的装置、设备和方法

说明书

一种压缩/解压缩神经网络模型的装置、设备和方法。其中包括步骤：获取神经网络模型的待压缩参数；采用神经网络算法对所述待压缩参数进行压缩和训练，获得低维的神经网络参数；解压所述低维的神经网络参数，恢复神经网络模型的参数。本发明用自动编码神经网络算法实现压缩/解压缩神经网络模型的装置，可减少神经网络模型的参数，有利于模型的存储和传输。

技术领域

本发明涉及神经网络模型压缩/解压缩算法应用技术领域，更具体地涉及一种压缩/解压缩神经网络模型的装置和设备，还涉及一种压缩/解压缩神经网络模型的方法。

背景技术

近年来，神经网络算法被广泛应用到各个领域，随着问题复杂度和对准确率要求的不断提高，神经网络模型深度不断增加，随之而来的是参数数量的爆炸式增长，这给神经网络模型的存储和传输带来了极大的不便。设想将来手机上每一个应用都具备深度学习的能力，但每一个应用都要传输、存储上G的神经网络模型参数，这显然是不合理的。

传统的降维方法大多是线性的，例如PCA(Principal Component Analysis，主成分分析)选取高维数据中方差最大的部分方向，通过选择这些方向，得到包含最多信息的低维表示。然而，PCA方法的线性性导致抽取出的特征类型有很大限制。

发明内容

有鉴于此，本发明的目的在于提供一种用自动编码神经网络算法压缩/解压缩神经网络模型的装置和方法，以解决上述至少一个技术问题。

根据本发明的一方面，提供一种压缩/解压缩神经网络模型的方法，包括步骤：

S1：获取神经网络模型的待压缩参数；

S2：采用神经网络算法对所述待压缩参数进行压缩和训练，获得低维的神经网络参数；

S3：解压所述低维的神经网络参数，恢复神经网络模型的参数。

进一步的，步骤S1包括：对神经网络模型的待压缩参数进行遍历选取，直至选取的待压缩参数的数量等于设定的维数。

进一步的，步骤S1包括：对神经网络模型的待压缩参数进行遍历选取，对所述待压缩参数进行稀疏化，对选取的待压缩参数进行判断，小于设定阈值的待压缩参数被设置为0，选取稀疏化后的非零元并标记非零元的位置坐标，直至选取的待压缩参数的数量等于设定的维数。

进一步的，所述遍历选取按照构建神经网络模型的先后顺序依次获取各层的待压缩参数。

进一步的，步骤S2包括子步骤：

S21：以多层感知器为基础搭建自动编码神经网络，自动编码神经网络的输入层和输出层节点数相同，并且隐层节点数少于输入层节点数；

S22：输入待压缩参数，对自动编码神经网络每层的神经元进行前向传导计算，得到各层的激活值；

S23：令输出等于输入，使用后向传导算法求出输出层以及各层神经元的残差；

S24：利用梯度下降法更新权值W和偏置B，使输出越来越接近输入；

S25：权值和偏置收敛后，输出隐层的值，即为低维的神经网络参数。

进一步的，采用步骤S21中自动编码神经网络的部分网络进行解压缩，恢复到输出层中。

根据本发明的又一方面，一种压缩/解压缩神经网络模型的装置，包括参数获取模块、模型压缩模块、模型存储模块和模型解压缩模块，其中，

参数获取模块，用于获取神经网络模型的待压缩参数；

模型压缩模块，用于采用神经网络算法压缩所述待压缩参数，并进行训练，获得低维的神经网络参数；

模型解压缩模块，用于解压缩低维的神经网络参数，形成恢复的神经网络参数；以及