[发明专利]一种稀疏训练方法

权利要求书

1.一种稀疏训练方法，包括：

根据置零条件对神经网络第i层所包括的N个神经元对应的梯度值进行选择性置零；其中，i为大于1的整数，N为正整数；

利用未置零的梯度值进行训练运算，得到更新后的梯度值及突触。

2.根据权利要求1所述的稀疏训练方法，其中，所述置零条件包括：置零概率条件，或置零阈值条件，或置零百分比条件。

3.根据权利要求1所述的稀疏训练方法，其中，在根据置零条件将筛选出的神经元对应的梯度值置零之前，还包括：采用随机方式对第i层所包括的N个神经元进行筛选。

4.根据权利要求3所述的稀疏训练方法，其中，所述随机方式包括：高斯随机方法、贝叶斯概率随机方法、或等距抽样方法。

5.根据权利要求3所述的稀疏训练方法，其中，所述置零条件为置零概率条件，该置零概率为p，采用所述随机方式筛选出N*p个神经元，将其对应的梯度值置0。

6.根据权利要求2所述的稀疏训练方法，其中，所述置零条件为置零阈值条件，该置零阈值条件包括：小于一给定阈值，大于一给定阈值，在一给定取值范围内或在一给定取值范围外。

7.根据权利要求6所述的稀疏训练方法，其中，所述置零阈值条件为小于一给定阈值，给定阈值为th，若梯度值小于所述给定阈值th，则将该梯度值置0；否则，保持梯度值不变。

8.根据权利要求6所述的稀疏训练方法，其中，在训练过程中，通过一启发方式并根据一启发条件对所述置零阈值的大小进行调整。

9.根据权利要求8所述的稀疏训练方法，其中，所述启发方式包括：利用测试样例或验证样例进行测试，对多次测试中其中至少两次测试结果信息进行比较，该结果信息包括：准确率或损失值。

10.根据权利要求9所述的稀疏训练方法，其中，对其中本次测试的的准确率与前一次测试的准确率进行比较，得到准确率差值；或对本次测试的准确率与此前多次测试的平均准确率进行比较，得到准确率差值。