[发明专利]压缩模型的获取方法、装置和存储介质及电子装置在审
申请号: | 202011638666.1 | 申请日: | 2020-12-31 |
公开(公告)号: | CN112734007A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 潘威滔 | 申请(专利权)人: | 青岛海尔科技有限公司;海尔智家股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 赵静 |
地址: | 266101 山东省*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 压缩 模型 获取 方法 装置 存储 介质 电子 | ||
本发明公开了一种压缩模型的获取方法、装置和存储介质及电子装置。其中,该方法包括:获取训练好的第一识别网络模型的第一参数,其中,第一识别网络模型用于识别出输入的图像中包含的目标元素,第一参数包括第一识别网络模型的通道数;按照预设条件对第一参数进行压缩,以得到第二参数;基于第二参数构建初始状态的第二识别网络模型,其中,第二识别网络模型与第一识别网络模型的网络结构相同;利用N个样本图像对初始状态的第二识别网络模型进行训练,其中,N为大于等于1的整数;在输出的训练结果达到收敛条件的情况下,确定得到训练好的第二识别网络模型。本发明解决了获取的压缩模型的识别精度较低的技术问题。
技术领域
本发明涉及计算机领域,具体而言,涉及一种压缩模型的获取方法、装置和存储介质及电子装置。
背景技术
卷积神经网络模型由于其参数量巨大,在推理过程中占用内存和CPU资源很高,导致部署在端侧时,无法满足现实场景的需求。比如:多目标卷积神经网络检测模型参数量以亿为计数单位,模型大小通常超过100MB,但是对于低端型号手机或冰箱开发板等(内存2GB),一旦开始调用多目标检测app,会占用系统资源,使得端侧发生卡顿或崩溃现象。因此端侧一般要求压缩后的模型至少少于原模型的1/3,这意味着端侧部署的技术中最大的难点在于保证卷积神经网络模型精度损失很小的情况下,尽可能大的对原始模型进行压缩。
现在对于端侧模型压缩最主要的方法是量化,即将卷积神经网络float32模型转化成int8模型,其中
float32参数值=拉伸系数*int8参数值+偏置值
这里的偏置值就是int8相比于float32的精度损失,也就是用int8通过拉伸系数来近似float32的原始参数值。
但量化模型相比于原始模型来说,主要是减小了参数储存量(int8需要8位存储,而float32需要32位存储),但是由于对深度网络结构没有做任何改变,使得从计算量上来说没有本质的提升,换言之,现有技术中的模型压缩方法,在保证一定的压缩力度的前提下,无法保证模型的使用精度的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种压缩模型的获取方法、装置和存储介质及电子装置,以至少解决获取的压缩模型的识别精度较低的技术问题。
根据本发明实施例的一个方面,提供了一种压缩模型的获取方法,包括:获取训练好的第一识别网络模型的第一参数,其中,上述第一识别网络模型用于识别出输入的图像中包含的目标元素,上述第一参数包括上述第一识别网络模型的通道数;按照预设条件对上述第一参数进行压缩,以得到第二参数;基于上述第二参数构建初始状态的第二识别网络模型,其中,上述第二识别网络模型与上述第一识别网络模型的网络结构相同;利用N个样本图像对上述初始状态的第二识别网络模型进行训练,其中,N为大于等于1的整数;在输出的训练结果达到收敛条件的情况下,确定得到训练好的上述第二识别网络模型。
根据本发明实施例的另一方面,还提供了一种压缩模型的获取装置,包括:第一获取单元,用于获取训练好的第一识别网络模型的第一参数,其中,上述第一识别网络模型用于识别出输入的图像中包含的目标元素,上述第一参数包括上述第一识别网络模型的通道数;压缩单元,用于按照预设条件对上述第一参数进行压缩,以得到第二参数;构建单元,用于基于上述第二参数构建初始状态的第二识别网络模型,其中,上述第二识别网络模型与上述第一识别网络模型的网络结构相同;训练单元,用于利用N个样本图像对上述初始状态的第二识别网络模型进行训练,其中,N为大于等于1的整数;确定单元,用于在输出的训练结果达到收敛条件的情况下,确定得到训练好的上述第二识别网络模型。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述压缩模型的获取方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于青岛海尔科技有限公司;海尔智家股份有限公司,未经青岛海尔科技有限公司;海尔智家股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011638666.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:通过调节流体流通面积实现阻尼调节的液压阀
- 下一篇:成型装置