[发明专利]一种基于哈希学习的神经网络压缩方法及系统

说明书

本发明公开了一种基于哈希学习的神经网络压缩方法及系统。该方法包括如下步骤：在前向传播中，将每个神经网络层的输入特征图和权重矩阵通过投影矩阵进行压缩，计算输出特征图；在后向传播中，根据输出特征图计算神经网络的损失函数，并通过损失函数计算每层的输入特征图的梯度值、权重矩阵的梯度值和投影矩阵的梯度值；根据每层的权重矩阵的梯度值以及每层的投影矩阵的梯度值分别对权重矩阵和投影矩阵进行更新。该方法在随机投影的基础上增加哈希学习的部分，通过同时训练权重矩阵和投影矩阵的方法来全局最小化损失函数，从而增加算法的分类准确率，达到可接受的微小性能退化的目标，具有很高的灵活性。

技术领域

本发明涉及一种基于哈希学习的神经网络压缩方法，同时涉及一种用于实现该方法的神经网络压缩系统。

背景技术

近年来，深度神经网络在很多领域都显示出巨大的潜力，包括计算机视觉和语音识别等。得益于大数据技术和GPU并行计算的快速发展，在计算复杂网络庞大的神经学习中提供强大的硬件支持，使得神经网络模型和深度学习方法越来越多的应用到计算机视觉领域中。在物体识别、图像分类、图像检索、人脸验证、视频理解等方面，都有着超出其他方法的准确率和性能的显著提升。其中，在计算机视觉领域，其中一种深度神经网络—卷积神经网络因其在模拟人大脑的抽象和迭代的过程的出色表现，能从大数据中准确获取信息，从而在很多应用中能够做到最高的标准。与此同时，我们可以看到在计算机视觉领域正在兴起的一些在虚拟现实、增强现实、智能穿戴设备的有趣的进步。综合来看，在智能便携设备上加载高性能的识别系统已经刻不容缓。

然而，当今的基于卷积神经网络的识别系统需要大量的内存和高性能的计算能力，通常都需要在昂贵的GPU集群上实现。尽管神经网络的训练可以在GPU集群上训练，但是如果要做到实时的话，那么测试过程便需要在移动设备上完成。然而深度的卷积神经网络随着数据集的增大、特征数的变多，模型的规模、参数的存储、计算量也随之增大，导致了很高的计算能力的需求，从而几乎无法在移动设备或者嵌入式设备中使用，阻碍了其发展。

众所周知，移动设备、嵌入式设备、普通的移动电脑有内存空间、计算能力和能耗的限制，而在大多数移动设备只有1GB的随机存取内存(RAM)的条件下，在2014年ImageNet竞赛中获胜的卷积神经网络训练得到的参数就已达到了576MB，这会占用大量的RAM，而且为了测试一张图片载入超过500M的参数在能耗上也是不可接受的，更不用说计算时间了，这些高内存和高计算能力的要求的缺点在移动设备上暴露无遗。因此这些模型对于手机、嵌入式设备、智能穿戴设备来说极大的超过了它们可以承受的内存、所需电量和计算能力。

然而越来越多的深度学习应用都越来越多的朝向移动设备和嵌入式设备中，例如智能手机和机器人上实现图片分类，自动驾驶汽车需要实时的进行物体识别，所以如何对神经网络进行压缩以降低计算量和存储空间，成为迫切需求。

发明内容

针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种基于哈希学习的神经网络压缩方法。

本发明所要解决的另一技术问题提供一种基于哈希学习的神经网络压缩系统。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种基于哈希学习的神经网络压缩方法，包括如下步骤：

在前向传播中，将每个神经网络层的输入特征图和权重矩阵通过投影矩阵进行压缩，计算输出特征图；

在后向传播中，根据输出特征图计算神经网络的损失函数，并通过损失函数计算每层的输入特征图的梯度值、权重矩阵的梯度值和投影矩阵的梯度值；

根据每层的权重矩阵的梯度值以及每层的投影矩阵的梯度值分别对权重矩阵和投影矩阵进行更新。

其中较优地，在前向传播中，将每个神经网络层的输入特征图和权重矩阵通过投影矩阵进行压缩，计算输出特征图，采用如下步骤：