[发明专利]基于矢量量化的迭代式神经网络量化方法及系统有效
| 申请号： | 201810042040.0 | 申请日： | 2018-01-16 |
| 公开（公告）号： | CN108268950B | 公开（公告）日： | 2020-11-10 |
| 发明（设计）人： | 熊红凯;徐宇辉 | 申请（专利权）人： | 上海交通大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06K9/62 |
| 代理公司： | 上海恒慧知识产权代理事务所(特殊普通合伙) 31317 | 代理人： | 徐红银;刘翠 |
| 地址： | 200240 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于矢量量化的迭代式神经网络量化系统，包括：聚类模块、基于误差的划分模块、参数共享模块和重训练模块，其中：聚类模块充分利用参数本身的分布来控制量化误差；基于误差的划分模块将网络参数划分为量化和重训练两部分；参数共享模块将划分的量化部分进行量化；重训练模块固定量化后的参数，更新重训练部分的参数来弥补量化误差，恢复量化后网络的精度。四部分迭代式进行，直到网络所有参数都被量化为止。同时提供了一种基于矢量量化的迭代式神经网络量化方法。本发明在不损失网络精度的情况下，能够将神经网络的32位浮点数量化为4bit，具有很高的实用价值。 | ||
| 搜索关键词： | 基于 矢量 量化 迭代式 神经网络 方法 系统 | ||
【主权项】：
1.一种基于矢量量化的迭代式神经网络量化方法，其特征在于，包括如下步骤：步骤S1，聚类：将网络参数进行聚类，并存储每一类的中心；步骤S2，基于误差的划分：检测每一类量化造成的网络损失即量化损失，并依据量化损失将步骤S1得到的所有类划分为量化部分和重训练部分；步骤S3，参数共享：将量化部分的网络参数量化为所属类的中心；步骤S4，重训练：固定量化后的网络参数，更新重训练部分的网络参数来弥补量化误差，恢复量化后网络的精度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海交通大学，未经上海交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810042040.0/，转载请声明来源钻瓜专利网。
