[发明专利]统计感知权重量化在审
申请号: | 201910509429.6 | 申请日: | 2019-06-13 |
公开(公告)号: | CN110598838A | 公开(公告)日: | 2019-12-20 |
发明(设计)人: | Z.王;崔正旭;K.戈帕拉克里什南;庄逸仁 | 申请(专利权)人: | 国际商业机器公司 |
主分类号: | G06N3/02 | 分类号: | G06N3/02;G06N3/08 |
代理公司: | 11105 北京市柳沈律师事务所 | 代理人: | 邸万奎 |
地址: | 美国纽*** | 国省代码: | 美国;US |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 呈现了用于统计感知权重量化的技术。为了促进降低权重的比特精度,对于权重集,量化器管理组件可以根据权重的权重值的平方的平均值和该权重值的绝对值的平均值的线性或非线性函数来估计量化标度值以应用于权重,其中量化标度值被确定为具有比与其它量化标度值相关联的所有或至少几乎所有其它量化误差更小的量化误差。量化器组件应用量化标度值以对称和/或均匀地量化权重集的层的权重,从而生成量化的权重,权重使用舍入来量化。相应的量化的权重可以用于促进深度学习系统的训练和推理。 | ||
搜索关键词: | 权重 量化标度 量化 量化误差 量化器 权重集 非线性函数 管理组件 权重量化 学习系统 组件应用 舍入 推理 感知 对称 关联 应用 统计 | ||
【主权项】:
1.一种计算机实现的方法,包括:/n对于权重集,由可操作地耦合到处理器的系统根据比特精度级别确定量化标度,其中所述量化标度包括量化标度值;/n由所述系统根据与量化误差相关的定义的量化标准来确定降低所述权重集的量化误差的一量化标度值;以及/n由所述系统基于所述量化标度值量化所述权重集的层的至少一部分的权重,以生成量化的权重。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国际商业机器公司,未经国际商业机器公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910509429.6/,转载请声明来源钻瓜专利网。