[发明专利]模型处理方法以及相关产品在审
申请号: | 202210010948.X | 申请日: | 2022-01-05 |
公开(公告)号: | CN114358254A | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 刘瑞 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 陈梅君 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 处理 方法 以及 相关 产品 | ||
1.一种模型处理方法,其特征在于,所述方法包括:
获取待处理深度网络模型,所述待处理深度网络模型包括N个处理层,任一处理层均包含一个或多个剪枝对象,N是正整数;
获取所述待处理深度网络模型对应的剪枝结构先验知识,所述剪枝结构先验知识包括所述N个处理层的N个剪枝率所呈现的分布规律;
根据所述剪枝结构先验知识,对各处理层包含的剪枝对象分别进行剪枝处理,得到精简深度网络模型;
输出所述精简深度网络模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述剪枝结构先验知识,对各处理层包含的剪枝对象分别进行剪枝处理,得到精简深度网络模型,包括:
按照处理层在所述待处理深度网络模型中的位置,将所述N个处理层划分为M阶,M≤N,且M是正整数;
根据所述剪枝结构先验知识,分别确定每一阶包含的处理层的剪枝率,属于同一阶的处理层的剪枝率相同;
按照各处理层的剪枝率,对N个处理层的剪枝对象分别进行剪枝处理,将剪枝处理后的N个处理层组合为所述精简深度网络模型。
3.根据权利要求2所述的方法,其特征在于,所述剪枝结构先验知识还包括最大剪枝率,当所述分布规律为抛物线分布规律时,所述根据所述剪枝结构先验知识,分别确定每一阶包含的处理层的剪枝率,包括:
将所述最大剪枝率作为第阶的剪枝率;
根据所述最大剪枝率以及第t阶与第阶之间的距离,确定第t阶的剪枝率,t是正整数,且
将第t阶的剪枝率作为所述第t阶包含的处理层的剪枝率。
4.根据权利要求2所述的方法,其特征在于,第一处理层是N个处理层中一个处理层,所述第一处理层包括多个剪枝对象,按照所述第一处理层的剪枝率,对所述第一处理层的剪枝对象进行剪枝处理,得到剪枝处理以后的第一处理层的过程,包括:
根据所述第一处理层包含的剪枝对象的数量以及所述第一处理层的剪枝率,确定第一剪枝数量;
根据所述第一剪枝数量,对所述第一处理层的剪枝对象进行剪枝处理,得到剪枝处理后的第一处理层。
5.根据权利要求4所述的方法,其特征在于,当所述待处理深度网络模型是卷积神经网络模型,且所述第一卷积层为卷积层,所述第一处理层的剪枝对象为卷积核时,所述根据所述第一剪枝数量,对所述第一处理层的剪枝对象进行剪枝处理,得到剪枝处理后的第一处理层,包括:
分别确定所述第一处理层包含的每个卷积核的卷积核系数;
将所述第一处理层对应的多个卷积核系数按照从小到大的顺序排序;
根据排序结果和所述第一剪枝数量,对所述第一处理层的剪枝对象进行剪枝处理,得到剪枝处理后的第一处理层。
6.根据权利要求5所述的方法,其特征在于,所述根据排序结果和所述第一剪枝数量,对所述第一处理层的剪枝对象进行剪枝处理,得到剪枝处理后的第一处理层,包括:
若所述第一处理层是N个处理层中的第一个处理层,则裁剪前第一剪枝数量个卷积核系数对应的卷积核,得到所述剪枝处理后的第一处理层;
若所述第一处理层不是N个处理层中的第一个处理层,则裁剪前第一剪枝数量个卷积核系数对应的卷积核,得到待处理卷积层;
获取在第二处理层中被裁剪的剪枝对象在所述第二处理层中的对象位置,其中,所述第二处理层是N个处理层中所述第一处理层的前一个处理层;
在所述待处理卷积层中,裁剪与所述对象位置对应的卷积核通道,得到剪枝处理后的第一处理层。
7.根据权利要求4所述的方法,其特征在于,当所述待处理深度网络模型是卷积神经网络模型,且所述第一卷积层为归一化层,所述第一处理层的剪枝对象为缩放因子时,所述根据所述第一剪枝数量,对所述第一处理层的剪枝对象进行剪枝处理,得到剪枝处理后的第一处理层,包括:
若所述第一处理层是N个处理层中的第一个处理层,则将所述第一处理层对应的多个缩放因子按照从小到大的顺序排序;
裁剪前第一剪枝数量个缩放因子,得到剪枝处理后的第一处理层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210010948.X/1.html,转载请声明来源钻瓜专利网。