[发明专利]一种基于反馈训练的有监督深度学习方法

说明书

本发明涉及一种基于反馈训练的有监督深度学习方法，该方法在训练有监督深度学习模型的过程中，在每次迭代开始时，以一采样概率对训练集中的各样本进行抽样，所述采样概率随各样本的预测损失值动态调整。与现有技术相比，本发明通过将有监督学习训练过程中各样本的预测损失值与其自身被采样频率相关联，利用反馈训练的方式实现了调整离群样本被采样到的概率，具有提高训练效果等优点。

技术领域

本发明涉及深度学习领域，尤其是涉及一种基于反馈训练的有监督深度学习方法。

背景技术

现在的有监督深度学习方法在使用过程中，需要使用大量的样本数据进行学习，为了降低有监督深度学习模型训练时对硬件的需求，通常采用小批量采样或单样本输入的方式训练模型。通常的采样方式为均匀采样或采用按序输入。

在该种情况下，大量的常规样本与小量的离群样本会有相等的概率被送入模型训练，导致模型难以学到小量离群样本的空间分布。当模型的训练目标需要检测或识别小量离群样本时，通过常规采样方式的有监督训练不仅降低了模型的准确率，而且降低了模型的训练速度。

为了解决上述问题，现有的解决方式通常为数据重采样、类别均衡采样、代价敏感矩阵与代价敏感向量的方法的方式进行训练。重采样和类别均衡采样的方式均为将不同类别的样本采样相同的个数进行训练。该方法在解决类间差异大、类内差异小的不同种类的样本数量不平衡问题上效果较好。然而当类内差异大，即出现少量离群样本时，模型极难学到其样本分布。代价敏感矩阵或代价敏感向量的方法可以通过构建混淆矩阵或代价敏感矩阵，对被错分的类别增大学习率，从而加速模型对离群样本的学习。但当离群样本存在于大样本量类别中时，由于离群样本被抽到的概率微乎其微，该方法的效果几乎可以忽略不计。

因此，为了提升离群样本的学习效率，不但要解决类间样本数量不平衡的问题，而且要解决类内样本数量不平衡的问题。而现有技术难以解决上述问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于反馈训练的有监督深度学习方法。

本发明的目的可以通过以下技术方案来实现：

一种基于反馈训练的有监督深度学习方法，该方法在训练有监督深度学习模型的过程中，在每次迭代开始时，以一采样概率对训练集中的各样本进行抽样，所述采样概率随各样本的预测损失值动态调整。

进一步地，所述采样概率动态调整的过程具体包括：

1)初始化各样本权重参数；

2)根据各样本当前的权重参数计算对应的采样概率：

其中，P(i)是样本i的采样概率，α为优先级系数，p_i为样本i的权重参数；

3)进行一次迭代后，获得各样本的预测损失值，基于所述预测损失值更新权重参数；

4)在下一次迭代开始时，令p_i＝p(i)，返回步骤2)。

进一步地，所述初始化各样本权重参数时，令各样本权重参数均为1。

进一步地，所述基于所述预测损失值更新权重参数具体为：

p(i)＝|δ(i)|+ε

其中，p(i)为更新后的样本i的权重参数，δ(i)为样本i的预测损失值，ε为修正因子。

进一步地，所述修正因子ε为一大于0的正数。

进一步地，所述预测损失值δ(i)的表达式为：

δ(i)＝L(y_i,f(x_i))