[发明专利]一种模型训练方法及装置

说明书

本发明实施例提供一种模型训练方法及装置，涉及机器学习技术领域。该方法包括获取多个训练样本并输入待训练模型中，获得训练样本对应的预测值；根据训练样本对应的实际值和预测值计算训练样本对应的代价值；将代价值进行非线性映射获得对应的映射值；利用映射值对待训练模型中的参数进行优化，直至待训练模型达到预设要求。装置用于执行上述方法。本发明实施例通过将代价值进行非线性映射获得映射值，利用映射值对待训练模型中的参数进行优化，由于通过对代价值进行了非线性映射，从而实现了放大较大的代价值，缩小较小的代价值，在不减少训练样本数量的基础上增大了大代价值对应的训练样本在模型训练时的作用，提高了模型训练的稳定性。

技术领域

本发明涉及机器学习技术领域，具体而言，涉及一种模型训练方法及装置。

背景技术

所谓有监督机器学习，是一种通过最小化预测值与真实值之间的差距(也称代价损失函数)从而不断调整被拟合函数参数的过程。深度学习作为有监督学习中的一种，因其巨量的参数数目拥有强大的拟合能力，从而使得深度学习在海量数据的有监督学习中拥有得天独厚的优势。但是巨量的参数数目在给深度学习技术带来优势的同时，也带来了函数模型训练困难的问题。针对这一情况，科研人员试图从多个角度对模型训练进行加速。

在训练集中充斥着海量的训练样本，在某一训练过程中，这些训练样本中有些预测值与真实值之间的差距较小，另外一些则还有较大差距。对于差距较小的训练样本，其能够提供的训练动力(梯度)已经不足以让模型参数发生较大程度的优化，而对于差距较大的训练样本，意味着当前模型的预测值与真实值还有较大的距离，有更多的动力让模型往局部最优的方向衍化，因此能更好的加速模型的训练。对于这种与真实值差距较大的训练样本，我们称之为难例，图1(a)为现有技术提供的分类问题的难例示意图，图1(b)为现有技术提供的回归问题的难例示意图。

因此如何在训练过程中找到训练集中的难例就成为了加速训练的关键。科研人员提出了在线挖掘的方式，具体的想法是在训练过程中，对当前批处理(batch)中的样本进行损失函数值的排序，只取前N个样本进行训练，其余的样本则进行了抛弃。这种方式的缺点是对于非难例样本的简单抛弃使得训练样本的信息没有得到充分的利用，尤其是在训练样本比较少的时候，大量的样本可能是非难例样本，仅用很少部分的难例样本进行训练往往会造成模型训练的不稳定。

发明内容

有鉴于此，本发明实施例的目的在于提供一种模型训练方法及装置，以解决上述技术问题。

第一方面，本发明实施例提供了一种模型训练方法，包括：

获取多个训练样本并将所述训练样本输入待训练模型中，获得所述训练样本对应的预测值；

根据所述训练样本对应的实际值和所述预测值计算所述训练样本对应的代价值；

将所述代价值进行非线性映射，获得对应的映射值；

利用所述映射值对所述待训练模型中的参数进行优化，直至所述待训练模型达到预设要求。

在本申请较佳的实施例中，所述根据所述训练样本对应的实际值和所述预测值计算所述训练样本对应的代价值，包括：

根据所述训练样本对应的实际值和所述预测值，利用交叉熵代价函数或均方差代价函数计算所述训练样本对应的代价值。

在本申请较佳的实施例中，所述根据所述训练样本对应的实际值和所述预测值，利用交叉熵代价函数计算所述训练样本对应的代价值，包括：

根据计算获得所述训练样本对应的代价值；

其中，

m为所述训练样本的个数，y⁽ⁱ⁾为第i个训练样本的实际值，h_θ(x⁽ⁱ⁾)为第i个训练样本的预测值。