[发明专利]一种压缩目标检测神经网络的方法

权利要求书

1.一种压缩目标检测神经网络的方法，其特征在于，包括以下步骤：

S1：将原来复杂、参数量大的骨干神经网络替换成参数较少的骨干网络；

S2：使用基于特征内积FSP的蒸馏方法对替换后的网络进行训练，所述基于特征内积FSP的蒸馏方法用小模型去拟合大模型不同层特征之间的转换关系，从而直接用小模型去拟合大模型的输出；

S3：使用通道剪枝的方式稀疏网络；具体地，通过减少卷积层中卷积核的数量来减小模型大小和降低模型计算复杂度，微调训练至收敛；

S4：使用量化、权值共享及编码的方法压缩网络权重，进一步降低权重所占空间。

2.根据权利要求1所述的压缩目标检测神经网络的方法，其特征在于：所述步骤S1中选择目标检测准确度与原骨干网络最为接近的现有成熟简单网络将原来网络层较深的骨干网络替换为网络层较浅，网络结构相似的网络。

3.根据权利要求1所述的压缩目标检测神经网络的方法，其特征在于：所述步骤S2中基于特征内积FSP的蒸馏方法具体为：使用一个FSP矩阵来表示不同层特征之间的关系，大模型和小模型不同层之间分别获得多个FSP矩阵，然后使用L2 loss让小模型的对应层FSP矩阵和大模型对应层的FSP矩阵尽量一致。

4.根据权利要求1所述的压缩目标检测神经网络的方法，其特征在于：所述步骤S3通道剪枝的方式中通道的重要采用熵进行判断：

首先，从训练集取n张图片作为一个集合，使用原网络进行推断，设网络的输出为p个通道，则会得到一个n×p的张量，对于每一个通道，得到了该通道的向量pi，对pi的n个值,将之分到M个区间，然后计算这个通道的熵：

根据熵的大小进行排序，然后按照稀疏率进行裁剪；对于目标检测网络，仅仅对卷积层进行剪枝，全连接层则进行平均池化的操作；每次剪枝一个通道后进行一次微调，剪枝完所有通道后在多个epoch上进行微调。

5.根据权利要求1所述的压缩目标检测神经网络的方法，其特征在于：所述步骤S4中量化、权值共享及编码的方法为：将浮点数量化为8位定点数，利用kmeans聚类算法计算权重的多个聚类中心，将权重量化为距离最近的聚类中心，然后对量化后的权重使用Huffman编码，进一步降低压缩率。