[发明专利]caffemodel模型压缩方法、系统、设备及介质在审
申请号: | 201810836366.0 | 申请日: | 2018-07-26 |
公开(公告)号: | CN109086819A | 公开(公告)日: | 2018-12-25 |
发明(设计)人: | 罗壮 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 上海弼兴律师事务所 31283 | 代理人: | 薛琦;罗朗 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 权重矩阵 模型压缩 掩码矩阵 存储空间 迭代结束 格式生成 稀疏矩阵 元素相乘 训练集 迭代 压缩 转化 | ||
1.一种caffemodel模型压缩方法,其特征在于,所述caffemodel模型压缩方法包括:
利用caffe框架导入一训练后的caffemodel模型,所述caffemodel模型包括fc6层和/或fc7层,所述fc6层和/或fc7层的权重矩阵为第一权重矩阵;
获取所述第一权重矩阵;
将所述第一权重矩阵中的绝对值大于和等于预设阈值的元素设置为1,并将所述第一权重矩阵中的绝对值小于所述预设阈值的元素设置为0后,生成掩码矩阵,所述预设阈值为一正值;
利用训练集训练所述caffemodel模型,迭代后,所述fc6层和/或fc7层的权重矩阵为第二权重矩阵;
将所述第二权重矩阵中的每项元素与所述掩码矩阵中对应的每项元素相乘生成第三权重矩阵,将所述fc6层和/或fc7层的权重矩阵设置为所述第三权重矩阵;
返回所述利用训练集训练所述caffemodel模型,迭代后,所述fc6层和/或fc7层的权重矩阵为第二权重矩阵的步骤;
直至达到预设迭代结束条件,则迭代结束,将所述第三权重矩阵转化为对应的csr稀疏矩阵格式生成压缩权重矩阵,将所述caffemodel模型的权重矩阵设置为所述压缩权重矩阵。
2.如权利要求1所述的caffemodel模型压缩方法,其特征在于,所述将所述caffemodel模型的权重矩阵设置为所述压缩权重矩阵的步骤还包括:
迭代结束后,获得所述caffemodel模型的训练精度为迭代训练精度;
迭代前的所述caffemodel模型的训练精度为原始训练精度,计算所述迭代训练精度相比所述原始训练精度的下降比例,若所述下降比例高于预设精度比例,则降低所述预设阈值,返回生成所述掩码矩阵的步骤;
所述将所述第三权重矩阵转化为对应的稀疏矩阵格式生成所述压缩权重矩阵的步骤包括:
直至所述下降比例低于所述预设精度比例,将所述第三权重矩阵转化为对应的稀疏矩阵格式生成所述压缩权重矩阵。
3.如权利要求2所述的caffemodel模型压缩方法,其特征在于,所述预设精度比例的范围为0.1%-0.0.5%。
4.如权利要求1所述的caffemodel模型压缩方法,其特征在于,所述将所述caffemodel模型的权重矩阵设置为所述压缩权重矩阵的步骤之后还括:
利用所述fc6层和/或fc7层接收输入数据,并将所述输入数据与所述压缩权重矩阵作相乘运算得到输出数据。
5.一种caffemodel模型压缩系统,其特征在于,所述caffemodel模型压缩系统包括导入模块、掩码生成模块、迭代模块、掩码模块、返回模块和转化模块;
所述导入模块用于利用caffe框架导入一训练后的caffemodel模型,所述caffemodel模型包括fc6层和/或fc7层,所述fc6层和/或fc7层的权重矩阵为第一权重矩阵;
所述掩码生成模块用于获取所述第一权重矩阵,并将所述第一权重矩阵中的绝对值大于和等于预设阈值的元素设置为1,并将所述第一权重矩阵中的绝对值小于所述预设阈值的元素设置为0后,生成掩码矩阵,所述预设阈值为一正值;
所述迭代模块用于利用训练集训练所述caffemodel模型,迭代后,所述fc6层和/或fc7层的权重矩阵为第二权重矩阵;
所述掩码模块用于将所述第二权重矩阵中的每项元素与所述掩码矩阵中对应的每项元素相乘生成第三权重矩阵,将所述fc6层和/或fc7层的权重矩阵设置为所述第三权重矩阵;
所述返回模块用于返回所述利用训练集训练所述caffemodel模型,迭代后,所述fc6层和/或fc7层的权重矩阵为第二权重矩阵的步骤;
所述转化模块用于直至达到预设迭代结束条件,则迭代结束,将所述第三权重矩阵转化为对应的csr稀疏矩阵格式生成压缩权重矩阵,将所述caffemodel模型的权重矩阵设置为所述压缩权重矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810836366.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:海洋锋面识别方法和装置
- 下一篇:基于能耗数据关联挖掘的建筑节能改造决策方法