[发明专利]用于卷积神经网络的修剪和再训练方法

权利要求书

1.一种方法，其包括：

(a)通过计算装置训练神经网络；

(b)通过所述计算装置修剪所述神经网络；以及

(c)在执行(b)之后，通过所述计算装置再训练所述神经网络，在所述再训练期间不会基于(b)的所述修剪施加任何约束。

2.根据权利要求1所述的方法，其还包括：

(d)通过所述计算装置重复(b)和(c)一次或多次，使得在后续迭代中执行(c)的所述再训练，而没有基于先前迭代中的(b)的所述修剪的约束。

3.根据权利要求1所述的方法，其中(b)包括通过所述计算装置，通过移除所述神经网络中的具有比所述神经网络中的未被移除的剩余连接更低权重的连接来修剪所述神经网络，使得所述剩余连接的数量相对于所述神经网络内的可能连接的数量处于一定修剪比，所述修剪比是预定值。

4.根据权利要求3所述的方法，其还包括：

(d)通过所述计算装置重复(b)和(c)，使得在后续迭代中执行(a)的所述训练，而没有基于任何先前迭代中的(b)的所述修剪的约束；以及

(e)在(d)的每次迭代之前通过所述计算装置增加所述修剪比。

5.根据权利要求4所述的方法，其还包括执行(d)和(e)，直到执行(d)时的所述修剪比等于目标比。

6.根据权利要求5所述的方法，其还包括：

(f)在执行(d)和(e)直到以等于所述目标比的所述修剪比执行(d)之后，通过所述计算装置再训练所述神经网络，其中在(b)的最后一次迭代中修剪的连接被约束成权重为零。

7.根据权利要求6所述的方法，其还包括通过所述计算装置重复(a)至(f)一次或多次，同时随着(a)至(f)的每次重复增加所述目标比。

8.根据权利要求6所述的方法，其还包括在(e)之后并在执行(f)之前，以固定在所述目标比的所述修剪比重复(d)，直到所述神经网络的准确度实现稳定性阈值条件。

9.根据权利要求6所述的方法，其中执行(d)包括执行(b)和(c)，直到所述神经网络的准确度在低于通过执行(a)实现的所述神经网络的准确度的阈值量内。

10.根据权利要求1所述的方法，其中所述神经网络是卷积神经网络(CNN)。

11.一种系统，其包括一个或多个处理装置和一个或多个存储器装置，所述一个或多个存储器装置存储有效地使得所述一个或多个处理装置进行以下操作的可执行代码：

(a)训练神经网络；

(b)修剪所述神经网络；以及

(c)在执行(b)之后再训练所述神经网络，在所述再训练期间不会基于(b)的所述修剪对所述神经网络施加任何约束。

12.根据权利要求11所述的系统，其中所述可执行代码进一步有效地使得所述一个或多个处理装置：

(d)重复(b)和(c)一次或多次，使得在后续迭代中执行(a)的所述训练，而没有基于先前迭代中的(b)的所述修剪的约束。

13.根据权利要求11所述的系统，其中所述可执行代码进一步有效地使得所述一个或多个处理装置进行：

通过移除所述神经网络中的具有比所述神经网络中的未被移除的剩余连接更低权重的连接来执行(b)中的修剪，使得所述剩余连接的数量相对于所述神经网络内的可能连接的数量处于一定修剪比，其中所述修剪比率是预定值。

14.根据权利要求13所述的系统，其中所述可执行代码进一步有效地使得所述一个或多个处理装置进行：

(d)重复(b)和(c)，使得在后续迭代中执行(a)的所述训练，而没有基于任何先前迭代中的(b)的所述修剪的约束；以及

(e)在(d)的每次迭代后增加所述修剪比。