[发明专利]以熟练的推理速度和功耗，生成神经网络的压缩表示

权利要求书

1.一种用于生成压缩神经网络权重张量的计算机实现的方法，包括：

从神经网络接收权重张量以进行压缩；

将进行压缩的所述神经网络的权重张量重排序，以具有二维(2D)稀疏位图的内部2D形态；

生成具有一层或多层的分层结构，以表示所述重排序权重张量；

将所述重排序权重张量分为一个或多个系数组GOC；

通过计算编码率失真测量，选择编码模式，使用码本或直接量化中的一种来生成量化的重排序权重张量；

根据所述2D稀疏位图的多个列交换索引，通过交换所述量化的重排序权重张量的列，生成列交换的量化的重排序权重张量；

将所述列交换的量化的重排序权重张量、根据所述分层结构的所述2D稀疏位图、具有多个质心的所述码本及所述多个列交换索引中的至少一种进行编码，以形成所述神经网络的压缩表示，以及

将所述神经网络的压缩表示传送至目标系统。

2.根据权利要求1所述的计算机实现的方法，还包括：

生成所述多个质心的码本，以响应为生成量化的重排序权重张量所选择的所述编码模式；以及

通过将所述GOC中的权重系数映射到所述多个质心的对应质心，使用所述多个质心的码本生成所述量化的重排序权重张量，以表示所述GOC。

3.根据权利要求2中任一项所述的计算机实现的方法，还包括使用直接量化生成所述量化的重排序权重张量。

4.根据权利要求1-3中任一项所述的计算机实现的方法，其中，所述2D稀疏位图通过匹配底层矩阵乘法通用块面乘法GEBP左侧lhs矩阵分块结构来确定。

5.根据权利要求4所述的计算机实现的方法，其中，所述分层结构与所述底层GEBP lhs矩阵分块结构、四叉树分块结构中的一个匹配，或被定义为有效表示所述2D稀疏位图。

6.根据权利要求1-5中任一项所述的计算机实现的方法，其中，所述2D稀疏位图的编码包括：

当所述分层结构多于一层时，深度二叉树扫描顺序，以及

当所述分层结构为一层时，行式光栅顺序、列式光栅顺序、之字形顺序三者之一，且遵循通用面面乘法GEPP/通用块面乘法GEBP或者通用面矩阵乘法GEPM/GEBP矩阵分块结构。

7.根据权利要求1-6中任一项所述的计算机实现的方法，其中

当所述重排序权重张量被分成多个GOC时，所述GOC为任意预设大小，或匹配所述稀疏位图分块结构；以及

当所述重新排列权重张量只有一个GOC时，所述GOC为所述重新排列权重张量的大小。

8.根据权利要求2-7中任一项所述的计算机实现的方法，其中，所述多个质心的码本由聚类算法确定。

9.根据权利要求2中任一项所述的计算机实现的方法，其中，所述将所述GOC中的权重系数映射进一步包括：

基于所述每个权重系数与所述对应质心之间的距离，将每个权重系数分配给所述多个质心中的对应质心；或者

确定所述权重系数是否为逃逸系数，以及

当所述权重系数不是逃逸系数时，基于所述权重系数与所述多个质心中的对应质心之间的距离，将每个权重系数分别分配给所述多个质心中的对应质心，当所述权重系数是逃逸系数时，为所述权重系数分配一个特殊值。

10.根据权利要求1-9中任一项所述的计算机实现的方法，其中，所述特殊值为所述码本的质心数。