[发明专利]一种压缩和解压缩神经网络模型的方法及设备在审
| 申请号: | 202010843266.8 | 申请日: | 2020-08-20 |
| 公开(公告)号: | CN114077893A | 公开(公告)日: | 2022-02-22 |
| 发明(设计)人: | 夏文;胡甄博;邹翔宇;曹建龙;陶喆 | 申请(专利权)人: | 华为技术有限公司;哈尔滨工业大学 |
| 主分类号: | G06N3/08 | 分类号: | G06N3/08 |
| 代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 李杭 |
| 地址: | 518129 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 压缩 和解 神经网络 模型 方法 设备 | ||
1.一种压缩神经网络模型的方法,其特征在于,包括:
获取M个待压缩数据集合,每个待压缩数据集合中包含神经网络模型的至少一个参数的实际值,M为大于1的整数;
根据M个不同的目标压缩参数对所述M个待压缩数据集合中各参数的实际值进行压缩,以得到M个压缩数据集合,每个压缩数据集合中包含所述神经网络模型的至少一个参数的压缩值,所述M个不同的目标压缩参数与所述M个待压缩数据集合一一对应。
2.根据权利要求1所述的方法,其特征在于,所述神经网络模型由N层神经元构成,N为大于1的整数;
每个待压缩数据集合中包含所述N层神经元中一层或多层神经元的参数的实际值。
3.根据权利要求2所述的方法,其特征在于,所述M个待压缩数据集合包括第一待压缩数据集合;
所述第一待压缩数据集合包含多层神经元的参数的实际值,且所述第一待压缩数据集合包含的多层神经元在所述神经网络模型中的位置是连续的。
4.根据权利要求2或3中所述的方法,其特征在于,所述M个待压缩数据集合包括第二待压缩数据集合,所述第二待压缩数据集合与所述M个不同的目标压缩参数中的第一目标压缩参数对应;
所述根据M个不同的目标压缩参数对所述M个待压缩数据集合中各参数的实际值进行压缩,以得到M个压缩数据集合包括:
根据所述第一目标压缩参数对所述第二待压缩数据集合包含的X层神经元的参数的实际值进行层层压缩,以得到X组参数的压缩值,所述X组参数的压缩值与所述X层神经元一一对应,且构成一个压缩数据集合,X为小于N的正整数。
5.根据权利要求4所述的方法,其特征在于,所述第一目标压缩参数用于表示相对误差;
所述根据所述第一目标压缩参数对所述第二待压缩数据集合包含的X层神经元的参数的实际值进行层层压缩,以得到X组参数的压缩值包括:
根据所述第一目标压缩参数计算目标层神经元的各个参数的绝对误差的对数,所述目标层神经元为所述X层神经元中的任意一层;
根据所述目标层神经元的各个参数的实际值计算所述目标层神经元的各个参数的预测值;
获取所述目标层神经元的各个参数的量化值,其中,参数的量化值等于目标差值与所述参数的绝对误差的对数的比值,所述目标差值等于参数的实际值的对数与参数的预测值的对数的差;
对所述目标层神经元的各个参数的量化值的整数部分进行编码,以得到所述目标层神经元对应的一组参数的压缩值。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,在所述获取M个待压缩数据集合之后,在所述根据M个不同的目标压缩参数对所述M个待压缩数据集合中各参数的实际值进行压缩,以得到M个压缩数据集合之前,所述方法还包括:
确定所述M个不同的目标压缩参数。
7.根据权利要求6所述的方法,其特征在于,所述确定所述M个不同的目标压缩参数包括:
获取K组压缩参数,每组压缩参数中均包含M个不同的压缩参数,所述M个压缩参数与所述M个待压缩数据集合一一对应,K为大于1的整数;
分别采用所述K组压缩参数对所述M个待压缩数据集合中各参数的实际值进行压缩,以得到K组压缩数据,所述K组压缩数据与所述K组压缩参数一一对应,且每组压缩数据都包含与所述M个待压缩数据集合中各参数的实际值对应的参数的压缩值;
基于所述K组压缩数据从所述K组压缩参数中选择一组压缩参数,以得到所述M个不同的目标压缩参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司;哈尔滨工业大学,未经华为技术有限公司;哈尔滨工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010843266.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:触控面板及触控设备
- 下一篇:一种植物基纤维素纳米纤丝及其制备方法与应用





