[发明专利]损失函数动态加权的方法、装置、设备和存储介质

说明书

本发明公开了一种损失函数动态加权的方法、装置、设备和存储介质，包括：获取样本集内每个类别的先验概率；根据所述先验概率和当次模型训练中所输出的每个类别的预测概率，确定每个类别的难易权值；基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更新，得到难易权值更新后的损失函数，实现了动态调整损失函数的权值变量，避免人为划分的难易权值在所选取的损失函数中效果不佳的现象，这样，在利用更新后的损失函数，确定当次模型训练的损失值后，对模型的超参数进行更新，使得越难的类别损失占比越大，越简单的类别损失占比越小，从而提高了模型训练效果。

技术领域

本发明属于机器学习技术领域，具体涉及一种损失函数动态加权的方法、装 置、设备和存储介质。

背景技术

近年来，随着人工智能浪潮的涌起，人工智能、机器学习在学术界乃至工业 界所占分量越来越大。

传统的模型训练中，通常利用损失函数计算预测分布与真实分布之间的差距 作为损失值，并利用损失值对模型进行调整，使得模型收敛。

在真实的环境中，往往各类别的学习难度不同，有的类别有比较简单固定的 模式，较容易训练，而有的类别的样本，模式复杂多变，模型学习难度大。对于 难易类别，一种较理想的加权方案是：给难类别加一个较大权值，给简单类别加 一个较小权值，这样便可以增加难类别的损失占比。

但是这种方法需要事先知道类别的难易，而类别难易是一个相对概念，每个 训练集中的类别都有相对难易，但是不同类别的难易差距可能不同，因此采用同 一种区分方式可能会导致同一个损失函数在某一个类别上取得较好的效果，在另 一个类别上却取得很差的效果。因此，训练集中各类别的难易程度，很难在模型 训练前准确定量估计，导致模型训练效果较差。

发明内容

本发明的主要目的是提供一种损失函数动态加权的方法、装置、设备和存储 介质，以解决现有技术中训练集中各类别的难易程度，很难在模型训练前准确定 量估计，导致模型训练效果较差的技术问题。

针对上述问题，本发明提供了一种损失函数动态加权的方法，包括：

获取样本集内每个类别的先验概率；

根据所述先验概率和当次模型训练中所输出的每个类别的预测概率，确定每 个类别的难易权值；

基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更新，得 到难易权值更新后的损失函数，以利用更新后的损失函数，确定当次模型训练的 损失值。

进一步地，上述所述的损失函数动态加权的方法中，获取类别集内每个类别 的先验概率，包括：

利用预设的先验概率计算式，获取样本集内每个类别的先验概率；

所述先验概率计算式为：

其中，p(c_i)表示先验概率，c_i表示第i个类别，n_i表示c_i对应的样本数量， K表示样本集中类别的数量，n_k表示第k个类别对应的样本数量，γ表示类别难 易控制参数，γ为常数。

进一步地，上述所述的损失函数动态加权的方法中，根据所述先验概率和当 次模型训练中所输出的每个类别的预测概率，确定每个类别的难易权值，包括：

将所述先验概率和当次模型训练中所输出的每个类别的预测概率代入预设 的难易权值计算式，计算每个类别的难易权值；

所述难易权值计算式为：

W_d＝(p(c_i)-p)²