[发明专利]用于目标检测网络的通道剪枝方法在审
申请号: | 201911041201.5 | 申请日: | 2019-10-30 |
公开(公告)号: | CN111062382A | 公开(公告)日: | 2020-04-24 |
发明(设计)人: | 白慧慧;刘洪利 | 申请(专利权)人: | 北京交通大学 |
主分类号: | G06K9/32 | 分类号: | G06K9/32;G06N3/08 |
代理公司: | 北京市商泰律师事务所 11255 | 代理人: | 邹芳德 |
地址: | 100044 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 目标 检测 网络 通道 剪枝 方法 | ||
本发明提供了一种用于目标检测网络的通道剪枝方法,属于计算机视觉识别技术领域,对待剪枝的通道进行BN层归一化;获取归一化后的通道重要性因子;对通道重要性因子进行排序,确定剪枝阈值;根据剪枝阈值,结合剪枝率对BN层通道进行剪枝。本发明易于实现,可以评估每个通道在整个网络中的重要性,剪枝后的结果可以使精度损失降到最低,可以有效地压缩模型的大小,同时避免了精度的损失。
技术领域
本发明涉及计算机视觉识别技术领域,具体涉及一种可压缩目标检测网络模型从而获得更轻量级网络模型的用于目标检测网络的通道剪枝方法。
背景技术
基于深度学习的目标检测技术近年来发展迅速。深度卷积神经网络在计算机视觉领域已经展现了良好的性能。由于识别目标的形状、外观、姿态各有不同,目标检测一直是计算机视觉领域最具挑战性的问题。
与图像分类相比,目标检测不仅需要识别图像中目标的类别,还需要估计其准确的位置。目前有两个主流的基于深度学习的目标检测框架。一种是两阶段检测器,如RCNN、FastRCNN和FasterRCNN。RCNN是经典的两阶段检测器,它可以通过选择搜索算法来生成候选区域,对于每个候选区域,该模型用卷积神经网络(CNNs)提取特征,然后对特征进行分类。FastRCNN和Faster RCNN进一步提高了目标检测的性能。然而由于选择搜索算法计算成本高,两阶段检测器的速度受到了很大的影响。另一种检测方案是一阶段的,它通过端到端的方式来训练网络。YOLO和SSD是典型的一阶段检测器。通常而言,一阶段检测器的精度略微逊色于两阶段检测器,但是他们的速度往往会更快。SSD中采用特征金字塔进行预测多尺度特征图,从而在不同大小的目标上都达到了良好的检测性能。为进一步提高检测精度,DSSD用ResNet-101代替VGG来增强网络的特征提取能力,然后用反卷积模块来实现添加大量上下文信息。RFBNet的灵感来自在人体视觉系统中的RFs结构,它可以在提高检测性能不增加检测时间。
然而,无论是一阶段检测器还是两阶段检测器,基于深度的目标检测模型有大量的参数,不适用于内存和计算资源受限的设备。为了解决内存消耗大且检测速度较慢的问题,很多深度神经网络模型的压缩和加速方法已经出现,包括参数修剪和共享,低秩分解和知识蒸馏。
参数剪枝和共享的方法可以通过删除网络模型中的冗余参数来减小模型的尺寸。权值剪枝主要用于减少模型的参数,对于包含全连接层的网络非常有效。例如,VGG-16中的全连接层只占整个浮点运算的不到1%,但是它们的参数量占据了模型总参数量的90%,对它进行参数剪枝就可以使模型的尺寸有效减小。然而,对于只包含卷积层的网络,对权值进行剪枝并不能压缩网络来获得更好的性能。针对仅包含卷积层的神经网络,现有的剪枝方法大多应用于图像分类网络。随着目标检测的广泛应用,目标检测网络的模型尺寸也需要减小,以适应内存较小的产品。
发明内容
本发明的目的在于提供一种可压缩目标检测网络模型从而获得更轻量级网络模型的通道参数剪枝方法,以解决上述背景技术中存在的技术问题。
为了实现上述目的,本发明采取了如下技术方案:
本发明提供的一种用于目标检测网络的通道剪枝方法,包括:
对通道进行BN层归一化;
获取归一化后的通道重要性因子;
对通道重要性因子进行排序,确定剪枝阈值;
根据剪枝阈值,结合剪枝率对BN层通道进行剪枝。
优选的,所述对待剪枝的通道进行BN层归一化包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京交通大学,未经北京交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911041201.5/2.html,转载请声明来源钻瓜专利网。