[发明专利]一种基于幂指数量化的神经网络压缩方法在审
| 申请号： | 201910445413.3 | 申请日： | 2019-05-27 |
| 公开（公告）号： | CN110245753A | 公开（公告）日： | 2019-09-17 |
| 发明（设计）人： | 陆生礼;庞伟;刘昊;樊迎博;花硕硕;缪烨昊 | 申请（专利权）人： | 东南大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 南京经纬专利商标代理有限公司 32200 | 代理人： | 熊玉玮 |
| 地址： | 210096 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及人工智能神经网络技术领域，具体公开一种基于幂指数量化的神经网络压缩方法。该方法，在外部数据集上训练卷积神经网络后获取该网络的初始化权值参数；根据权值参数绝对值的大小以及分组阈值将权值参数分为两组，绝对值超过阈值的一组基于预先设定的位宽及绝对值最大的权值参数量化大于分组阈值的一组权值参数，将权值参数量化为2的幂或者0；对小于分组阈值的权值参数再训练后执行分组再量化的循环操作，直至网络收敛。本发明在保证参数的取值范围不被压缩的同时在一定程度上减小量化对最终目标检测准确率的影响，解决了量化后准确率下降过多以及硬件实现难度大的问题。 | ||
| 搜索关键词： | 权值参数 量化 分组 神经网络 幂指数 准确率 压缩 人工智能神经网络 卷积神经网络 硬件实现难度 目标检测 外部数据 网络收敛 循环操作 初始化 减小 两组 位宽 网络 保证 | ||
【主权项】：
1.一种基于幂指数量化的神经网络压缩方法，其特征在于，获取神经网络达到目标准确率时的权值参数初始值，根据神经网络每层的分割率以及权值参数绝对值的排序大小确定分组阈值，将绝对值大于阈值的权值参数划分为待量化参数的一组数据，将绝对值小于阈值的权值参数划分为重新训练的一组数据，根据权值参数初始值中绝对值最大的权值参数和设定的量化位宽确定幂指数取值范围，遍历幂指数取值范围，选取与待量化参数差值最小的以2为底的幂或以2为底的幂的相反数或0替代待量化参数，依据分组阈值对重新训练后的数据执行分组再量化的循环操作直至网络收敛。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东南大学，未经东南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910445413.3/，转载请声明来源钻瓜专利网。
