[发明专利]机器学习网络模型压缩

权利要求书

1.一种用于执行模型压缩的计算机实现的方法，所述方法包括：

压缩包括多层结构的机器学习ML网络模型以产生压缩的ML网络模型，所述压缩的ML网络模型保持所述ML网络模型的所述多层结构；以及

生成所述压缩的ML网络模型的模型文件，所述模型文件包括所述压缩的ML网络模型和用于使所述ML网络模型能够被逐层解压缩并执行的解码信息。

2.根据权利要求1所述的方法，其中所述解码信息存储于所述模型文件的通用报头中。

3.根据权利要求2所述的方法，其中所述通用报头是所述模型文件的前八个字节。

4.根据权利要求2所述的方法，其中所述通用报头提供版本、总报头长度、编码类型、框架类型和序列化类型。

5.根据权利要求2所述的方法，其中所述模型文件还包括序列化报头。

6.根据权利要求2所述的方法，其中所述报头中的所述解码信息包括解码层指示，其中所述解码层指示与层权重的解码层资源分配相关联。

7.根据权利要求6所述的方法，其中所述解码层资源分配是用于存储所述ML网络模型的所述多层结构的层权重的共享缓冲的缓冲分配。

8.根据权利要求6所述的方法，其中所述解码层指示指示所述多层结构的层权重按照所述ML网络模型的解码顺序共享动态分配的缓冲。

9.根据权利要求6所述的方法，其中所述解码层指示指示所述模型的解码层权重将各自被分配以缓冲中的相应缓冲资源。

10.根据权利要求6所述的方法，其中所述解码层指示携带于所述模型文件的所述通用报头的解码层共享缓冲报头字段中。

11.根据前述权利要求中任一项所述的方法，还包括：向有限资源系统发送所述模型文件。

12.根据前述权利要求中任一项所述的方法，其中所述ML网络模型为深度神经网络DNN。

13.一种用于执行机器学习ML网络模型的计算机实现的方法，所述方法包括：

获取包括压缩的ML网络模型和用于实现逐层解压缩和执行的解码信息的模型文件，所述解码信息包括逐层标志；

确定所述逐层标志是否设置于所述模型文件中；

响应于所述逐层标志设置于所述模型文件中，对所述压缩的ML网络模型的第N层进行解压缩，以生成所述ML网络模型的经解压缩的第N层，其中N是表示所述ML网络的层序列的整数变量；

将所述ML网络模型的经解压缩的第N层的一组加权值加载到缓冲中；

将来自所述缓冲的所述一组加权值安装到所述ML网络模型的经解压缩的第N层中，所述ML网络模型的经解压缩的第N层的每个神经元接收对应的加权值；以及

通过所述ML网络模型的经解压缩的第N层的神经元处理一组数据。

14.根据权利要求13所述的方法，其中所述解码信息存储于所述模型文件的通用报头中。

15.根据权利要求14所述的方法，其中所述通用报头是所述模型文件的前八个字节。

16.根据权利要求14所述的方法，其中所述通用报头提供版本、总报头长度、编码类型、框架类型和序列化类型。

17.根据权利要求14所述的方法，其中所述模型文件还包括序列化报头。

18.根据权利要求14所述的方法，其中所述报头中的所述解码信息包括解码层指示，其中所述解码层指示与层权重的解码层资源分配相关联。