[发明专利]机器学习网络模型压缩

说明书

第一方面涉及用于执行模型压缩的计算机实现的方法。该方法包括：压缩包括多层结构的机器学习(ML)网络模型以产生压缩的ML网络模型。该压缩的ML网络模型保持ML网络模型的多层结构。该方法生成压缩的ML网络模型的模型文件。该模型文件包括压缩的ML网络模型和用于使ML网络模型能够被逐层解压缩并执行的解码信息。

相关申请的交叉引用

本专利申请要求由朱佳峰等人于2019年1月9日提交的申请号为62/790,387、名称为“深度神经网络(DNN)模型压缩格式，逐层解码缓冲比特”的美国临时专利申请的优先权，其通过引用结合在本申请中。

技术领域

本公开一般涉及人工神经元网络，并且更具体地涉及机器学习网络模型压缩。

背景技术

人工神经网络(artificial neural network,ANN)是基于生物神经网络的结构和功能的计算模型。流经网络的信息会影响ANN的结构，因为神经网络会基于输入和输出进行更改(或在某种意义上进行学习)。ANN被认为是非线性统计数据建模工具，其中对输入和输出之间的复杂关系进行建模或使用机器学习算法找到模式。这样的系统可以通过考虑示例来“学习”执行任务，通常无需使用任何特定于任务的规则进行编程。

卷积神经网络是前馈ANN的一种。卷积神经网络可以包括神经元集合，每个神经元具有接收场并共同平铺输入空间。接收场可以只包括输入体积的局部区域，例如神经网络将在其中处理高维输入的区域，而输入层中的每个神经元实际上都无法链接到所有输入并接收所有输入。或者，接收场可以包括到所有可用输入的链接。卷积神经网络(convolutional neural network,CNN)有很多应用。特别是，CNN已广泛用于模式识别和分类领域。

深度学习架构，例如深度信念网络(deep belief network,DBN)、深度卷积网络(deep convolutional network,DCN)和深度神经网络(deep neural network,DNN)，是分层神经网络架构，其中第一层神经元的输出成为第二层神经元的输入，第二层神经元的输出成为第三层神经元的输入，依此类推。因此，可以将深度神经网络定义为在输入层和输出层之间具有多个中间层的神经网络。

发明内容

本公开适用于人工神经网络，例如包括多层神经元的深度神经网络(DNN)。经过训练以执行特定任务的DNN被称为模型。例如，DNN模型可用于图像识别、语音到文本的转换或语言翻译。这些模型的大小往往非常大，可能需要大量的存储器和/或处理能力才能执行。因此，诸如电话、平板电脑、物联网(Internet of Things,IoT)设备或其他电子设备之类的有限资源设备通常不包括足够的处理能力和存储器以能够存储和执行神经网络模型。为了解决该问题，本公开提供了用于执行模型压缩和解压缩以使得有限资源设备能够存储和执行神经网络模型的各种实施例。

第一方面涉及用于执行模型压缩的计算机实现的方法。该方法包括：压缩包括多层结构的机器学习(ML)网络模型以产生压缩的ML网络模型。该压缩的ML网络模型保持ML网络模型的多层结构。该方法生成压缩的ML网络模型的模型文件。该模型文件包括压缩的ML网络模型和用于使ML网络模型能够被逐层解压缩并执行的解码信息。

在根据第一方面的计算机实现的方法的第一实现形式中，解码信息存储于模型文件的通用报头中。在第一实现形式的实现中，模型文件还包括序列化报头。在第一实现形式的另一实现中，通用报头是模型文件的前八个字节。在第一实现形式的另一实现中，通用报头提供版本、总报头长度、编码类型、框架类型和序列化类型。