[发明专利]卷积神经网络模型的压缩方法、装置及计算机存储介质在审
申请号: | 201910959688.9 | 申请日: | 2019-10-10 |
公开(公告)号: | CN110705708A | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 付宇卓;刘婷;钱刘宸;吉学刚;曹德明;申子正 | 申请(专利权)人: | 上海交通大学;中通客车控股股份有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 31237 上海思微知识产权代理事务所(普通合伙) | 代理人: | 曹廷廷 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 卷积神经网络 剪枝 卷积 压缩 计算机存储介质 模型压缩 压缩效率 保证 | ||
1.一种卷积神经网络模型的压缩方法,其特征在于,包括以下步骤:
S100:对第一卷积神经网络模型的每个卷积层分别剪枝尝试,确定每个所述卷积层的剪枝步长;
S200:根据每个所述卷积层的剪枝步长,对所述第一卷积神经网络模型逐层剪枝,得到压缩后的第二卷积神经网络模型。
2.根据权利要求1所述的一种卷积神经网络模型的压缩方法,其特征在于,步骤S100中所述确定每个所述卷积层的剪枝步长的方法,包括先设定初始剪枝步长和卷积核的剪枝顺序,然后执行以下步骤:
S110:对所述卷积层进行剪枝尝试,得到剪枝后的中间卷积神经网络模型;
S120:对所述中间卷积神经网络模型进行微调,并在验证集上运行微调后的所述中间卷积神经网络模型,得到尝试剪枝后的mAP;
S130:若所述尝试剪枝后的mAP低于第一预设mAP阈值,减小所述初始剪枝步长至第一剪枝步长;若所述尝试剪枝后的mAP高于所述第一预设mAP阈值,增大所述初始剪枝步长至第二剪枝步长;否则,执行步骤S150;
S140:若剪枝变化步长满足预设变化步长阈值,执行步骤S110继续对所述卷积层进行剪枝尝试;否则,执行步骤S150;
S150:将所述初始剪枝步长作为所述卷积层的剪枝步长。
3.根据权利要求2所述的一种卷积神经网络模型的压缩方法,其特征在于,所述设定初始剪枝步长的方法包括:
设定初始剪枝比例;
根据所述初始剪枝比例与所述卷积核数量,得到所述卷积层的初始剪枝步长。
4.根据权利要求2所述的一种卷积神经网络模型的压缩方法,其特征在于,所述设定所述卷积核的剪枝顺序的方法包括:
计算每个所述卷积核的所含权值绝对值之和;
将所述卷积核的所含权值绝对值之和从小到大的顺序设定为所述卷积核的剪枝顺序。
5.根据权利要求1所述的一种卷积神经网络模型的压缩方法,其特征在于,在步骤S200前,还包括先对每个所述卷积层进行排序,以所述卷积层敏感程度从高到低的顺序作为所述卷积层的剪枝顺序。
6.根据权利要求5所述的一种卷积神经网络模型的压缩方法,其特征在于,步骤S200中对所述第一卷积神经网络模型逐层剪枝包括,按照所述卷积层的剪枝顺序,根据每个所述卷积层的剪枝步长,对所述卷积层逐个剪枝并逐个判断是否完成剪枝,前一个所述卷积层完成剪枝之后再对下一个所述卷积层剪枝,直至所有所述卷积层完成剪枝,得到压缩后的第二卷积神经网络模型。
7.根据权利要求6所述的一种卷积神经网络模型的压缩方法,其特征在于,步骤S200中判断所述卷积层是否完成剪枝的方法包括以下步骤,
步骤S210:对剪枝后的所述第一卷积神经网络模型进行微调,并在验证集上运行微调后的所述第一卷积神经网络模型,得到所述剪枝后的mAP;
步骤S220:若有任一种类的AP为0,则完成所述卷积层的剪枝;否则执行步骤S230;
步骤S230:判断所述剪枝后的mAP是否低于第二预设mAP阈值,若是,则完成所述卷积层的剪枝;否则,执行步骤S240;
步骤S240:若所述卷积层的剪枝步长小于剩余所述卷积核的数量,以所述卷积层的剪枝步长对所述卷积层继续剪枝;否则,修正所述卷积层的剪枝步长至第三剪枝步长,对所述卷积层继续剪枝。
8.根据权利要求1-7任一项所述的一种卷积神经网络模型的压缩方法,其特征在于,还包括在步骤S100前,先基于目标检测算法训练获取所述第一卷积神经网络模型。
9.一种卷积神经网络模型的压缩装置,其特征在于,包括处理器,适于实现各指令;以及存储设备,适于存储多条指令,所述指令适于由处理器加载并执行:实现如权利要求1-8任一项所述的卷积神经网络模型的压缩方法的步骤。
10.一种计算机存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可执行的指令,当所述计算机可执行的指令被执行时实现如权利要求1-8任一项所述的卷积神经网络模型的压缩方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学;中通客车控股股份有限公司,未经上海交通大学;中通客车控股股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910959688.9/1.html,转载请声明来源钻瓜专利网。