[发明专利]一种基于参数范数的神经网络量化方法在审
| 申请号： | 201810387893.8 | 申请日： | 2018-04-26 |
| 公开（公告）号： | CN108805257A | 公开（公告）日： | 2018-11-13 |
| 发明（设计）人： | 田永鸿;燕肇一;史业民;王耀威 | 申请（专利权）人： | 北京大学 |
| 主分类号： | G06N3/02 | 分类号： | G06N3/02 |
| 代理公司： | 北京辰权知识产权代理有限公司 11619 | 代理人： | 刘广达 |
| 地址： | 100871*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于参数范数的神经网络量化方法，该方法包括：对于给定的预训练神经网络参数模型，通过对所需量化层的参数的取值进行统计，划分量化中心；根据所选择的量化中心，计算每个相应量化层的参数的量化损失；将量化损失与神经网络训练参数模型的分类误差损失相加，作为总损失，并进行反向传播优化，同时量化中心也在优化时进行更新；待训练结束，根据量化中心对相应层进行量化操作，得到量化后的压缩模型。本发明提供的方法能够划分权重中心，并通过施加简单的量化损失，使用与传统方法相同的优化器，对神经网络模型进行量化，从而得到原始模型的压缩模型，减小网络存储体积与运算复杂性。 | ||
| 搜索关键词： | 量化 参数模型 神经网络 量化层 范数 神经网络模型 神经网络训练 训练神经网络 压缩 反向传播 分类误差 网络存储 原始模型 优化器 与运算 减小 权重 相加 优化 施加 更新 统计 | ||
【主权项】：
1.一种基于参数范数的神经网络量化方法，其特征在于，所述方法包括：对于给定的预训练神经网络参数模型，通过对所需量化层的参数的取值进行统计，划分量化中心；根据所选择的量化中心，计算每个量化层的参数的量化损失；将所述量化损失与所述预训练神经网络参数模型的分类误差损失相加，作为总损失，并进行反向传播优化；判断是否达到训练要求，如果是则进入下一个步骤，如果否则对量化中心进行更新；根据量化中心对相应的层进行量化操作，得到量化后的压缩模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京大学，未经北京大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810387893.8/，转载请声明来源钻瓜专利网。
