[发明专利]神经网络的训练方法和装置

权利要求书

1.一种神经网络的训练方法，其特征在于，包括：

获取待训练的神经网络；

对所述待训练的神经网络的参数进行分组，以得到M组参数，所述M为大于或等于1的正整数；

获取采样概率分布和训练迭代步排布方式，所述采样概率分布用于表征在每个训练迭代步中所述M组参数中的每组参数被采样的概率，所述训练迭代步排布方式包括间隔排布和周期排布；

根据所述采样概率分布和所述训练迭代步排布方式，对被采样的参数组冻结或停更；

根据被冻结的参数组或被停更的参数组对所述待训练的神经网络进行训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述采样概率分布和所述训练迭代步排布方式，对被采样的参数组冻结或停更，包括：

根据所述训练迭代步排布方式确定第一迭代步，所述第一迭代步为待采样的迭代步；

根据所述采样概率分布确定所述第一迭代步中被采样的第m组参数，所述m小于或等于M-1；

冻结所述第一迭代步中的第m组参数至第一组参数，所述冻结所述第一迭代步中的第m组参数至第一组参数表示对所述第m组参数至所述第一组参数不进行梯度计算，不进行参数更新。

3.根据权利要求1所述的方法，其特征在于，所述根据所述采样概率分布和所述训练迭代步排布方式，对被采样的参数组冻结或停更，包括：

根据所述训练迭代步排布方式确定第一迭代步，所述第一迭代步为待采样的迭代步；

根据所述采样概率分布确定所述第一迭代步中被采样的第m组参数，所述m小于或等于M-1；

停更所述第一迭代步中的第m组参数至第一组参数，所述停更所述第一迭代步中的第m组参数至第一组参数表示对所述第m组参数至所述第一组参数进行梯度计算，不进行参数更新。

4.根据权利要求2或3所述的方法，其特征在于，当所述训练迭代步排布方式为间隔排布时，所述根据所述训练迭代步排布方式确定第一迭代步，包括：

确定第一间隔；

在多个训练迭代步中，每隔一个所述第一间隔确定一个或多个所述第一迭代步。

5.根据权利要求2或3所述的方法，其特征在于，当所述训练迭代步排布方式为周期排布时，所述根据所述训练迭代步排布方式确定第一迭代步，包括：

确定第一迭代步的数量为M-1；

根据所述第一迭代步的数量和第一比例确定第一周期，所述第一周期包括所述第一迭代步和整网训练的迭代步，所述第一比例为所述第一迭代步在所述第一周期中所占的比例，所述第一迭代步为所述第一周期的后M-1个迭代步。

6.一种数据处理的方法，其特征在于，包括：

获取待处理数据；

根据目标神经网络对所述待处理数据进行处理，所述目标神经网络通过训练得到，所述目标神经网络的训练包括：

获取待训练的神经网络；

对所述待训练的神经网络的参数进行分组，以得到M组参数，所述M为大于或等于1的正整数；

获取采样概率分布和训练迭代步排布方式，所述采样概率分布用于表征在每个训练迭代步中所述M组参数中的每组参数被采样的概率，所述训练迭代步排布方式包括间隔排布和周期排布；

根据所述采样概率分布和所述训练迭代步排布方式，对被采样的参数组冻结或停更；

根据被冻结参数组或被停更的参数组对所述待训练的神经网络进行训练。

7.一种神经网络的训练装置，其特征在于，包括：

获取模块，用于获取待训练的神经网络；

处理模块，用于对所述待训练的神经网络的参数进行分组，以得到M组参数，所述M为大于或等于1的正整数；

所述获取模块还用于获取采样概率分布和训练迭代步排布方式，所述采样概率分布用于表征在每个训练迭代步中所述M组参数中的每组参数被采样的概率，所述训练迭代步排布方式包括间隔排布和周期排布；

所述处理模块还用于根据所述采样概率分布和所述训练迭代步排布方式，对被采样的参数组冻结或停更；

根据被冻结参数组或被停更的参数组对所述待训练的神经网络进行训练。