[发明专利]一种基于特征映射剪枝的卷积神经网络精简方法

摘要

一种基于特征映射剪枝的卷积神经网络精简方法，针对某个任务训练好的卷积神经网络模型，自顶层到底层，逐层利用筛选策略对网络中的特征映射进行筛选，并通过关键点确定每一层的精简程度，每完成一层的筛选，对网络进行重新训练直到恢复之前的准确率，最终在不损失性能的前提下获得一个精简、高效的网络模型，以满足计算、存储资源有限情况下卷积神经网络的应用要求。实验表明，本发明可以有效地除去网络中对性能提升无效冗余的特征映射，在保持网络性能的同时，减少了网络规模，提升了网络的运行速度，对卷积神经网络在移动端的应用具有重要意义。

主权项

1.一种基于特征映射剪枝的卷积神经网络精简方法，其特征是所述卷积神经网络用于图像分类，针对某个训练好的卷积神经网络，自顶层到底层，逐层利用筛选策略对对网络模型进行重新训练直到恢复之前的准确率，最终在不损失原训练好的网络的性能的前提下获得精简网络模型，包括以下步骤：1)设分类任务为：分为k类，数据集为X，数据集X中图像的数量为n，标签为Y，利用卷积神经网络训练得到具有I层卷积层的网络；2)对于训练好的神经网络，有卷积层0＜i≤I，卷积层的输入数据为U,输出特征映射为V，其中H、W、H′、W′分别为U、V的高度和宽度，П_j表示类别，j＝1,2,…,k，c为前一层卷积层的卷积核数量，i＝1时，c＝3，d为卷积层的卷积核数量；3)根据Fisher准测，定义特征映射可分度，所述可分度是特征映射产生正确分类结果属性的度量，如果一个特征映射类间离散度大、类内离散度小，那么它的可分性好，可分度高，反之亦然，将可分度作为特征映射是否保留的依据，计算卷积层所有输出特征映射V的可分度值；4)卷积层有F个卷积核，相对应的有多组输出特征映射V，根据可分度计算方法，得到一组可分度值组进而根据可分度值寻找卷积层特征映射的剪枝数量，具体为：4.1)对可分度值组从大到小进行排序，得到可分度序列；4.2)找出可分度序列斜率的突变点，定义突变点为关键点，并将其作为最佳特征映射保留数量的候选点；4.3)根据找出的候选点，逐个尝试每个候选点所对应的特征映射保留数量对网络进行重新训练，训练结束后测试网络对测试集的分类正确率，以保留特征映射数量最少、分类正确率最高的候选点作为最佳结果，将此候选点对应的输出特征映射作为保留数量，即得到卷积神经网络卷积层的精简结果；5)对神经网络自顶层到底层精简，对一个卷积层的剪枝后，对整个网络进行重新训练直至网络恢复剪枝前的性能，完成一个卷积层的精简后，再对下一层卷积层进行精简，直至所有的卷积层完成精简。