[发明专利]神经网络数据压缩及其相关计算方法和装置

说明书

公开了一种神经网络数据压缩及其相关计算方法和装置。所述数据压缩方法包括：获取经定点化的神经网络模型；以及使用两个或以上数字的组合代替所述神经网络模型计算中连续出现的特定数字。由此，针对经量化神经网络计算中大量连续出现相同数字的这一固有属性，可以通过固定的数字组合进行代替，从而便捷简单地实现数据高度压缩的效果。

技术领域

本发明涉及深度学习领域，尤其涉及一种神经网络数据压缩及其相关计算方法和装置。

背景技术

基于人工神经网络(ANN，Artificial Neural Network)，尤其是卷积神经网络(CNN，Convolutional Neural Network)的方法在很多应用中都取得了极大的成功。在计算机视觉领域，特别是针对图像分类问题，CNN的引入使得图像分类的精度大幅提高。

虽然基于人工神经网络的方法具有先进的性能，但与传统方法相比需要更多的计算和内存资源。尤其随着神经网络的发展，大型神经网络具有越来越多的层级和数据量，这为神经网络的部署带来了巨大的挑战。为了在嵌入式的小型系统上加载由深度神经网络方法实现的例如高精度实时目标识别功能，并且鉴于现有神经网络参数具备大量冗余的事实，可以通过神经网络定点化来降低资源使用量。

尽管定点量化的神经网络为在小型系统上的实现提供了可能，但由于编译、传输、带宽和存储能力的限制，仍然希望对经定点量化的神经网络进行进一步地压缩。

由此，需要一种更为简便有效的神经网络数据压缩方案。

发明内容

为了解决上述至少一个问题，本发明提出了一种神经网络数据压缩方案，其针对经定点量化的神经网络模型，通过两个或以上的数字组合代替连续出现的特定数字，能够进一步压缩定点神经网络参数，从而改善因带宽限制导致的系统效率问题。

根据本发明的一个方面，提出了一种神经网络数据压缩方法，包括：获取经定点化的神经网络模型；以及使用两个或以上数字的组合代替所述神经网络模型计算中连续出现的特定数字。由此，针对经量化神经网络计算中大量连续出现相同数字的这一固有属性，可以通过固定的数字组合进行代替，从而实现数据压缩的效果。

获取经定点化的神经网络模型包括如下至少一项：获取所述神经网络模型中经定点化的参数；以及获取所述神经网络模型中的输入值和/或每一层的激活值的定点量化规则。相应地，被代替的所述特定数字可以包括如下至少一项：经定点量化的参数；输入所述神经网络模型的输入值；以及所述神经网络模型计算中生成的激活值。由此，可以实现对神经网络数据灵活且全面的压缩。

在一个实施例中，特定数字的数值大小基于如下至少一种确定：默认为0值；所在层的定点量化偏移量；和/或所述两个或以上数字的组合中的数字数值，以便使用各种量化和应用场景。

两个或以上数字的组合可以包括：用于表示特定数字连续出现的一个或以上的第一数字；以及用于表示该特定数字连续出现的次数的一个或以上的第二数字。第一数字优选为单个第一数字，第二数字可以是接在单个第一数字之后的单个第二数字，所述单个第二数字的数值用于表示该特定数字连续出现的次数，例如，表示从3次到2的定点位宽次幂的连续出现次数。其中第一数字的数值大小基于如下至少一种确定：定点位宽所对应的最小负值；0值；和/或声明的任意值。由此，可以针对具体场景灵活获选第一数字，尤其是定点位宽所对应的最小负值的第一数字。上述数字可以在数据表示中弃用，从而进一步起到消除数据直流失调的作用。

在一个实施例中，定点化是对称定点量化，并且使用两个或以上数字的组合代替所述参数中连续出现的特定数字的数值是0。在其他实施例中，可以逐层确定使用两个或以上数字的组合代替所述神经网络模型计算中连续出现的特定数字的数值，并且使用不同的数字组合表示所述参数中连续出现的不同的特定数字，由此进一步拓宽本发明的应用场景。