[发明专利]一种不平衡学习动态恢复大类重要性的损失函数计算方法

说明书

本发明从动态平衡的角度来看待不平衡学习的问题，提供了一种不平衡学习动态恢复大类重要性(Dynamically Restoring the Importance ofMajority Class,DRMC)的损失函数计算方法。DRMC首先抑制大类的重要性，然后逐渐恢复大类的重要性。其损失函数中的成本函数包括初始函数、恢复函数、渐进函数和激活函数。渐进函数为一递增函数，激活函数采用类Relu函数，初始函数和恢复函数采用已有的静态的类别成本函数。DRMC方法动态地计算类别成本，结合标准交叉熵函数，有效地解决了已有方法中的静态平衡策略与训练过程中类别表示程度的动态变化不相匹配的问题。与相应的静态的成本函数相比，DRMC方法可以显著提高了模型的分类性能，不仅显示了良好的泛化能力，而且方法对超参数不敏感，易化了超参数调试过程。

技术领域

本发明涉及机器学习，具体说，涉及一种不平衡学习动态恢复大类重要性的损失函数计算方法。

背景技术

类不平衡指的是数据中不同类之间存在有数量上的不平衡。在过去几年中，随着机器学习不断发展，深度人工神经网络取得了很大的进展。深度神经网络模型总是在精心设计的数据集上进行训练，这些数据集通常是分布平衡的。然而，在现实世界中，由于物体、事件和行为出现的频率不同，类不平衡数据在真实的训练场景中普遍存在。如果在训练过程中没有修正机制，数据集中的不平衡特征将导致深度神经网络模型对小类的识别性能低。随着深度学习的广泛应用，如何从类不平衡的或长尾分布的数据集中学习高性能的模型成为了一个亟待解决的问题。

目前存在一些解决类不平衡问题的方法，可以分为基于数据的方法和基于算法的方法。基于数据的方法中，一个常见的方式是通过对小类的过采样、对大类的欠采样或它们的组合来重新采样训练数据，但这将改变数据的分布。另一种方式是分类器的集合，每个分类器都是从原始数据集的不同样本训练得到的。近年来，为了更好地学习数据集的分布，研究者们还通过样本生成的方式来扩展数据集，从而提升模型的性能。基于算法的方法中，成本敏感函数往往被广泛采用，通过为每个类或每个样本引入成本(权重)来直接或间接地强调/抑制小类/大类的重要性，从而解决不平衡学习的问题。与基于数据的方法相比，这类方法很直观，更容易实现，在深度学习中被广泛使用。

发明内容

1、一种不平衡学习动态恢复大类重要性(Dynamically Restoring theImportance ofMajority Class,DRMC)的损失函数计算方法，可以用于基于深度学习的视觉分类模型的不平衡学习中。首先抑制大类的重要性，然后逐渐恢复大类的重要性。基于该方法的损失函数的计算公式为：

CE_DRMC(p,y,i)＝-log(p_t)·α_{t_drmc}(y,i), (4)

其中，所述p∈[0,1]，是样本的类别预测概率，所述y是样本的标签值，所述i为训练迭代次数，所述p_t是样本的真实类别的预测概率，所述-log(p_t)·为交叉熵损失，所述α_{t_drmc}是动态的成本函数，由4部分构成，其定义如下：

α_{t_drmc}(y,i)＝Init(y)·Acti(1/Rest(y)·Grad(i)), (5)

其中，所述Init(y)为抑制大类重要性的初始成本函数，所述Rest(y)为成本恢复函数，所述Grad(·)为渐进增大的函数，所述Acti(·)为激活函数。Rest(y)、Grad(·)和Acti(·)共同控制恢复大类的重要性。

对于公式(5)，Init(y)和Rest(y)为类别级成本函数。

对于公式(5)，其所述的激活函数Acti(·)为：

其中，所述x∈(-∞,+∞)。