[发明专利]用于调整神经网络模型的剪枝方法及其装置、电子设备在审
申请号: | 202211028029.1 | 申请日: | 2022-08-25 |
公开(公告)号: | CN115545149A | 公开(公告)日: | 2022-12-30 |
发明(设计)人: | 吕朝辉;罗涛;施佳子;于海燕 | 申请(专利权)人: | 中国工商银行股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 周春枚 |
地址: | 100140 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 调整 神经网络 模型 剪枝 方法 及其 装置 电子设备 | ||
1.一种用于调整神经网络模型的剪枝方法,其特征在于,包括:
采用预设评估策略对神经网络模型中每个神经元进行评估,得到评估值集合,其中,所述神经网络模型包含有多个神经元,所述预设评估策略对应有目标排序策略,所述评估值集合中的每个评估值与对应的所述神经元建立映射关系;
在对每个所述神经元进行评估的次数达到预设次数阈值的情况下,得到多个神经元集合;
依据所述评估值集合和所述映射关系,采用所述目标排序策略对所述多个神经元集合中的所有所述神经元进行排序,得到排序结果;
基于所述排序结果,选取预设数量的目标神经元,得到目标神经元集合;
裁剪所述目标神经元集合中的每个所述目标神经元,并且在裁剪结束后,依据裁剪结果调整所述神经网络模型,得到调整后的目标神经网络模型,其中,所述目标神经网络模型用于处理输入图像。
2.根据权利要求1所述的剪枝方法,其特征在于,在对每个所述神经元进行评估的次数达到预设次数阈值的情况下,得到多个神经元集合之前,还包括:
在所述预设评估策略为评估绝对值策略的情况下,计算所述神经网络模型中每个所述神经元的绝对值,得到绝对值集合,其中,所述绝对值集合中的每个所述绝对值与对应的所述神经元建立第一映射关系;
基于所述绝对值集合和所述第一映射关系,按照绝对值顺序,对所述神经元进行排序,得到第一排序结果;
基于所述第一排序结果,选取第一预设数量的第一神经元,得到第一神经元集合。
3.根据权利要求2所述的剪枝方法,其特征在于,计算所述神经网络模型中每个所述神经元的绝对值的步骤,包括:
确定进行评估的评估次数以及每次评估选取的神经元数量;
基于所述评估次数以及所述神经元数量,计算所述神经元的初始绝对值;
基于所述初始绝对值,计算所述神经元的第一代价值;
在所述第一代价值小于预设代价阈值的情况下,确定所述初始绝对值为所述神经元的所述绝对值。
4.根据权利要求1所述的剪枝方法,其特征在于,在对每个所述神经元进行评估的次数达到预设次数阈值的情况下,得到多个神经元集合之前,还包括:
在所述预设评估策略为评估重叠值策略的情况下,计算所述神经网络模型中每个所述神经元的重叠值,得到重叠值集合,其中,所述重叠值集合中的每个所述重叠值与对应的所述神经元建立第二映射关系;
基于所述重叠值集合和所述第二映射关系,按照重叠值顺序,对所述神经元进行排序,得到第二排序结果;
基于所述第二排序结果,选取第二预设数量的第二神经元,得到第二神经元集合。
5.根据权利要求4所述的剪枝方法,其特征在于,计算所述神经网络模型中每个所述神经元的重叠值的步骤,包括:
确定进行评估的评估次数以及每次评估选取的神经元数量;
基于所述评估次数以及所述神经元数量,计算每个所述神经元的第二代价值;
依据所述第二代价值顺序,对所述神经元进行排序,并基于排序结果,选取第三预设数量的第三神经元集合,其中,所述第三预设数量表征的数量与所述神经元数量相等;
将所述第三神经元集合中的每个所述神经元映射到所述神经网络模型的各特征层上,得到与所述第三神经元集合中的每个所述神经元对应的目标神经元标识集合;
在所述神经元的神经元标识与所述目标神经元标识集合中的目标神经元标识匹配成功的情况下,将所述神经元的当前重叠值加上预设值,其中,每个所述神经元的初始重叠值相同;
在对每个所述神经元完成所述评估次数的评估的情况下,得到每个所述神经元的所述重叠值。
6.根据权利要求3所述的剪枝方法,其特征在于,依据所述评估值集合和所述映射关系,采用所述目标排序策略对所述多个神经元集合中的所有所述神经元进行排序,得到排序结果的步骤,包括:
在所述预设评估策略为所述评估绝对值策略的情况下,确定所述目标排序策略为第一排序策略;
采用所述第一排序策略,基于与每个所述神经元对应的所述绝对值,对所述多个神经元集合中的所述神经元进行排序,得到第三排序结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工商银行股份有限公司,未经中国工商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211028029.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:波轮电磁阀主体零部件组装生产线
- 下一篇:安全锁扣和安全带