[发明专利]一种基于动态采样的分类模型迭代加速方法及系统

权利要求书

1.一种基于动态采样的分类模型迭代加速方法，其特征在于，所述方法包括：

加载待训练模型，得到所述待训练模型的初始化权重；

根据所述初始化权重调整训练轮数，并按照第一预设比例将所述训练轮数分割为多个数组；

设置每个数组在训练时的梯度步长；

按照多个数组的训练顺序以及对应的梯度步长，对待训练模型交替进行全部训练和部分训练；所述全部训练为使用所述训练集中的全部训练样本对待训练模型进行训练；所述部分训练为使用训练集中第二预设比例的训练样本对待训练模型进行训练。

2.根据权利要求1所述的基于动态采样的分类模型迭代加速方法，其特征在于，所述方法还包括：

按照所述数组的个数，将训练集分为多个子训练集；

按照第二预设比例筛选所述子训练集中的训练样本，得到有效样本集；

使用所述有效样本集对待训练模型进行所述部分训练。

3.根据权利要求2所述的基于动态采样的分类模型迭代加速方法，其特征在于，按照第二预设比例筛选所述子训练集中的训练样本的步骤中，所述方法还包括：

在执行任意一次训练之后，获取当前模型的训练权重；

根据所述训练权重，计算下一次训练对应的子训练集中的训练样本的学习难度等级；

根据第二预设比例，按照所述学习难度等级由高到低的排列顺序筛选有效样本。

4.根据权利要求3所述的基于动态采样的分类模型迭代加速方法，其特征在于，计算下一次训练对应的子训练集中样本的难度值的步骤中，所述方法还包括：

使用交叉熵损失函数计算子训练集中的训练样本的交叉熵损失；

按照所述交叉熵损失确定样本的所述学习难度等级。

5.根据权利要求2所述的基于动态采样的分类模型迭代加速方法，其特征在于，所述方法还包括：

在对所述待训练模型进行全部训练之前，按照第三预设比例从训练集中筛选迭代样本；

使用所述训练集中的全部样本以及所述迭代样本对所述待训练模型进行所述全部训练。

6.根据权利要求2所述的基于动态采样的分类模型迭代加速方法，其特征在于，设置每个子轮数在训练时的梯度步长之后，所述方法还包括：

计算每个所述子训练集的训练损失；

将所述待训练模型在前向传播的过程中，累计叠加数量为梯度步长的训练损失，得到梯度损失；

基于所述梯度损失，对所述待训练模型进行反向传播。

7.根据权利要求1所述的基于动态采样的分类模型迭代加速方法，其特征在于，根据所述初始化权重调整训练轮数的步骤中，所述方法还包括：

获取所述待训练模型的最佳训练轮数以及所述待训练模型的总训练轮数；

将所述训练轮数的轮数上限调整为所述最佳训练轮数的第一预设倍数，以及，将所述训练轮数的轮数下线调整为所述总训练轮数的第二预设倍数。

8.根据权利要求1所述的基于动态采样的分类模型迭代加速方法，其特征在于，对待训练模型交替进行全部训练和部分训练的步骤中，所述方法还包括：

在对所述待训练模型进行部分训练时，将所述待训练模型的学习率调整为全部训练时学习率的两倍；

按照调整后的训练轮数以及调整后的学习率对所述待训练模型进行训练。

9.根据权利要求1所述的基于动态采样的分类模型迭代加速方法，其特征在于，所述方法还包括：

获取训练集中训练样本的数量；

选取预设数量的训练样本作为验证集；所述预设数量小于样本数量；

在所述待训练模型进行至少一次训练之后，使用所述验证集对待训练模型进行验证，得到验证结果；

根据所述验证结果确定所述待训练模型的收敛值，以在所述收敛值满足预设收敛区间时输出训练结果模型。

10.一种基于动态采样的分类模型迭代加速系统，其特征在于，所述系统包括训练模块，所述训练模块被配置为：

加载待训练模型，得到所述待训练模型的初始化权重；

根据所述初始化权重调整训练轮数，并按照第一预设比例将所述训练轮数分割为多个数组；

设置每个数组在训练时的梯度步长；

按照多个数组的训练顺序以及对应的梯度步长，对待训练模型交替进行全部训练和部分训练；所述全部训练为使用所述训练集中的全部训练样本对待训练模型进行训练；所述部分训练为使用训练集中第二预设比例的训练样本对待训练模型进行训练。