[发明专利]用于卷积神经网络的修剪和再训练方法

说明书

训练卷积神经网络(CNN)模型并以修剪比对其进行修剪。然后对所述模型进行一次或多次训练和修剪，而不根据任何先前的修剪步骤约束所述模型。可以在每次迭代增加所述修剪比，直到达到修剪目标。然后可以再次训练所述模型，其中经修剪连接被掩蔽。修剪、再训练和调整所述修剪比的过程也可以用不同的修剪目标来重复一次或多次。

技术领域

本发明涉及用于执行对神经网络的训练的系统和方法，所述神经网络诸如卷积神经网络。

背景技术

使用卷积神经网络(CNN)的许多机器学习应用程序需要非常高的计算和存储带宽。一种用于减少计算负荷的方法是对系数进行零修剪并且在系数为零时跳过计算。各种现有的软件和硬件优化技术利用零值系数。一个示例是稀疏卷积神经网络(Baoyuan Liu,Min Wang1,Hassan Foroosh1,Marshall Tappen,and Marianna Penksy)和深度神经网络压缩和效率推理机(Song Han CVA group,Stanford University)中描述的稀疏矩阵乘法技术，这两篇文献都通过引用以其整体并入本文。

可以通过将弱于阈值的某些连接权重钳位到零来修剪CNN。修剪会显著地影响准确度。需要专用的再训练方法来恢复经修剪模型的准确度，同时保持经修剪的连接。在先前的修剪方法中，在再训练时将禁用掩码应用于经修剪的连接权重。多次迭代修剪和再训练通常可以帮助进一步提高准确度。但是对于每次迭代，禁用掩码在再训练前是固定的。

发明内容

本文公开的系统和方法提供了一种用于修剪CNN以便增加零系数的数量，同时仍然实现高水平的准确度的改进方法。

附图说明

为了容易理解本发明的优点，将通过参考附图所示的特定实施例来呈现以上简要描述的本发明的更具体描述。应当理解，这些附图仅描绘了本发明的典型实施例并且因此不应当视为限制其范围，通过使用附图将以附加的特征和细节来描述和解释本发明，其中：

图1是根据本发明的一个实施例的用于修剪神经网络的方法的过程流程图；以及

图2是根据本发明的一个实施例的用于迭代地执行图2的方法的方法的过程流程图；以及

图3是说明图1的修剪方法的曲线图；以及

图4是用于实现本发明方法的计算装置的示意性框图。

具体实施例

容易理解的是，如本文附图中大体描述和说明的，本发明的部件可能以各种不同的配置来布置和设计。因此，如附图所表示的，本发明的实施例的以下更详细描述并非旨在限制所要求保护的本发明的范围，而是仅表示根据本发明的目前设想的实施例的某些示例。通过参考附图将最好地理解目前描述的实施例，其中相似的部分始终由相似的数字表示。

根据本发明的实施例可以体现为设备、方法或计算机程序产品。因此，本发明可以采用以下形式：完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或将软件与硬件方面组合的实施例，所述实施例在本文中一般都可以称为“电路”、“模块”或“系统”。此外，本发明可以采用体现在任何有形表达介质中的计算机程序产品的形式，所述计算机程序产品具有体现在介质中的计算机可用程序代码。

可以利用一个或多个计算机可使用或计算机可读介质的任何组合，包括非瞬态介质。例如，计算机可读介质可以包括以下中的一个或多个：便携式计算机磁盘、硬盘、随机存取存储器(RAM)装置、只读存储器(ROM)装置、可擦除可编程只读存储器(EPROM或闪存)装置、便携式光盘只读存储器(CDROM)、光存储装置和磁存储装置。在选定的实施例中，计算机可读介质可以包括可包含、存储、传送、传播或传输程序以供指令执行系统、设备或装置使用或与其结合使用的任何非瞬态介质。