[发明专利]神经网络模型压缩的方法和计算机系统在审
| 申请号： | 202011076138.1 | 申请日： | 2020-10-10 |
| 公开（公告）号： | CN112668690A | 公开（公告）日： | 2021-04-16 |
| 发明（设计）人： | 蒋薇;王炜;刘杉 | 申请（专利权）人： | 腾讯美国有限责任公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 北京德琦知识产权代理有限公司 11018 | 代理人： | 马媛媛;王琦 |
| 地址： | 美国加利福尼亚州*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 神经网络 模型 压缩 方法 计算机系统 | ||
1.一种压缩深度神经网络的方法，其特征在于，包括：
对与深度神经网络关联的权重系数进行量化和熵编码；
对经过量化和熵编码的所述权重系数进行局部平滑；及
通过对所述权重系数应用变分丢弃(variational dropout)来对平滑后的所述权重系数进行压缩。
2.根据权利要求1所述的方法，其特征在于，所述权重系数对应于一个多维张量所关联的维度。
3.根据权利要求1所述的方法，其特征在于，基于确定与所述权重系数相关联的梯度，对所述权重系数进行局部平滑。
4.根据权利要求1所述的方法，其特征在于，基于对所述权重系数的平滑度度量所关联的损失值进行最小化，对所述权重系数进行局部平滑。
5.根据权利要求4所述的方法，其特征在于，基于从所述权重系数中选择权重系数的子集，进行所述损失值的最小化。
6.根据权利要求4所述的方法，其特征在于，所述平滑度度量对应于所述权重系数在至少一个轴上的一个点所测量的梯度的绝对值，且基于对在所述至少一个轴上的所述梯度的贡献进行平衡。
7.根据权利要求4所述的方法，其特征在于，进一步包括：
基于所述最小化的损失值对所述深度神经网络进行训练。
8.一种压缩深度神经网络的计算机系统，其特征在于，包括：
量化和熵编码模块，用于使至少一个计算机处理器对与深度神经网络关联的权重系数进行量化和熵编码；
平滑模块，用于使所述至少一个计算机处理器对经过量化和熵编码的所述权重系数进行局部平滑；及
压缩模块，用于使所述至少一个计算机处理器通过对所述权重系数应用变分丢弃(variational dropout)来对平滑后的所述权重系数进行压缩。
9.根据权利要求8所述的计算机系统，其特征在于，所述权重系数对应于一个多维张量所关联的维度。
10.根据权利要求8所述的计算机系统，其特征在于，所述权重系数的局部平滑基于确定与所述权重系数相关联的梯度。
11.根据权利要求8所述的计算机系统，其特征在于，所述权重系数的局部平滑基于对所述权重系数的平滑度度量所关联的损失值进行最小化。
12.根据权利要求11所述的计算机系统，其特征在于，所述损失值的最小化基于从所述权重系数中选择权重系数的子集。
13.根据权利要求11所述的计算机系统，其特征在于，所述平滑度度量对应于所述权重系数在至少一个轴上的一个点所测量的梯度的绝对值，且基于对在所述至少一个轴上的所述梯度的贡献进行平衡。
14.一种压缩深度神经网络的计算机系统，其特征在于，包括：
至少一个计算机可读非暂时性存储介质，用于存储计算机程序代码；及
至少一个计算机处理器，用于访问所述计算机程序代码并根据所述计算机程序代码的指示执行根据权利要求1-7中任一权利要求所述的方法。
15.一种非暂时性计算机可读介质，存储有用于压缩深度神经网络的计算机程序，其特征在于，所述计算机程序用于使至少一个计算机处理器执行根据权利要求1-7中任一权利要求所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯美国有限责任公司，未经腾讯美国有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202011076138.1/1.html，转载请声明来源钻瓜专利网。
- 上一篇：车用燃料电池堆性能特征的确定方法、装置、设备和介质
- 下一篇：物品输送机器人
