[发明专利]以熟练的推理速度和功耗，生成神经网络的压缩表示

说明书

本公开涉及一种用于生成压缩神经网络权重张量的技术。从神经网络接收权重张量以进行压缩，将进行压缩的神经网络的权重张量重排序，以具有内部二维(2D)形态及2D稀疏位图。生成表示重排序权重张量的分层结构，并将重排序权重张量分为一个或多个系数组GOC。选择编码模式，使用码本或直接量化中的一种来生成量化的重排序权重张量，并生成列交换的量化的重排序权重张量。通过编码形成神经网络的压缩表示，并将神经网络的压缩表示传输到目标系统以进行解压缩。

优先权声明

本申请要求于2018年7月12日提交的，序列号为62/697，251的美国临时申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开一般涉及一种压缩神经网络(NN)的生成，尤其涉及一种具有更高推理速度、更低功耗的压缩NN。

背景技术

机器学习描述了广泛的算法，通过这些算法，计算机可以学习解决问题而无需显式编程。一类机器学习算法是人工神经网络。人工神经网络包括一组相互连接的节点。一个或多个输入节点接收外部输入数据。输入节点对输入施加激活函数，并可以将结果输出到一个或多个其他节点(相当于“隐形节点”)。隐形节点从一个或多个在先节点处(即输入节点或另一隐形节点)接收输入，并对每个输入施加不同的权重因子。随后隐形节点以与输入节点同样的方式施加激活函数，而后输出被传递到其他节点上，并作为输入进行处理。此过程一直持续到将原始输入经过人工神经网络传播，到达一个或多个输出节点为止。输出节点以与其他节点相同的方式施加激活函数，但并不将其输出传递到另一节点，而是作为结果输出。

构建神经网络的常规方法是在将神经网络用于解决实际问题之前先用训练数据集对其训练。在训练阶段，向神经网络提供输入数据，该输入数据的正确答案已知，通过调整一个或多个节点的输入权重，将输出结果用于训练该神经网络。许多受训的神经网络采用了数以千万计的参数，以达到良好的性能。然而存储采用大量参数的神经网络会占用大量储存空间。神经网络可在储存空间有限的设备上使用，诸如移动设备。此外，这些神经网络可能必须通过计算机网络从一个系统传输到另一个系统。通过计算机网络将体量如此之大的神经网络从一个系统传输到另一个系统，过程十分缓慢且低效。很多时候，为了限制神经网络的大小以进行存储或传输，神经网络可以被压缩以进行存储或传输，并通过使用神经网络的计算机设备解压。

发明内容

根据本公开的一个方面，提供用于生成压缩神经网络权重张量的计算机实现的方法，包括：从神经网络接收权重张量以进行压缩；将进行压缩的所述神经网络的权重张量重排序，以具有二维(2D)稀疏位图的内部2D形态；生成具有一层或多层的分层结构，以表示所述重排序权重张量；将所述重排序权重张量分为一个或多个系数组GOC；通过计算编码率失真测量，选择编码模式，使用码本或直接量化中的一种来生成量化的重排序权重张量；根据所述2D稀疏位图的多个列交换索引，通过交换所述量化的重排序权重张量的列，生成列交换的量化的重排序权重张量；将所述列交换的量化的重排序权重张量、根据所述分层结构的所述2D稀疏位图、具有多个质心的所述码本及所述多个列交换索引中的至少一种进行编码，以形成所述神经网络的压缩表示，以及将所述神经网络的压缩表示传送至目标系统。

可选地，在前述任一方面，所述方法还包括生成所述多个质心的码本，以响应为生成量化的重排序权重张量所选择的所述编码模式；以及通过将所述GOC中的权重系数映射到所述多个质心的对应质心，使用所述多个质心的码本生成所述量化的重排序权重张量，以表示所述GOC。

可选择地，在前述任一方面，所述方法还包括使用直接量化生成所述量化的重排序权重张量。

可选择地，在前述任一方面，所述2D稀疏位图通过匹配底层矩阵乘法通用块面乘法GEBP左侧lhs矩阵分块结构来确定。

可选择地，在前述任一方面，所述分层结构与所述底层GEBP lhs矩阵分块结构、四叉树分块结构中的一个匹配，或被定义为有效表示所述2D稀疏位图。