[发明专利]一种基于固定移位的8位整型全量化推理方法及装置在审
申请号: | 202010519588.7 | 申请日: | 2020-06-09 |
公开(公告)号: | CN111767984A | 公开(公告)日: | 2020-10-13 |
发明(设计)人: | 谢远东 | 申请(专利权)人: | 云知声智能科技股份有限公司;厦门云知芯智能科技有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京冠和权律师事务所 11399 | 代理人: | 安琪 |
地址: | 100000 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于固定移位的8位整型全量化推理方法及装置,方法包括:获取训练后保存的浮点型的神经网络模型;按照通道计算神经网络模型的每一层中每个通道的权重的第一动态调整值;使用KL散度算法计算每一层的激活值的第二动态调整值;将第一动态调整值和第二动态调整值由浮点型转换成定点型;根据总移位数,定点型的第一动态调整值和第二动态调整,计算每一层输入的定点目标动态调整值;将权重转换成定点权重;在进行推理的过程中,针对神经网络模型的每一层,根据定点型第二动态调整值将本层的输入转换成8位定点型,并根据定点权重和定点目标动态调整值计算得到本层的输出以作为下一层的输入;通过输出层输出8位定点型的结果数据。 | ||
搜索关键词: | 一种 基于 固定 移位 整型 量化 推理 方法 装置 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司;厦门云知芯智能科技有限公司,未经云知声智能科技股份有限公司;厦门云知芯智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010519588.7/,转载请声明来源钻瓜专利网。