[发明专利]一种损失函数动态加权的方法

说明书

一种损失函数动态加权的方法，相比于基于采样的样本均衡方法而言，没有破坏原数据集的分布状态，提高了数据利用率的同时也提高了模型的训练效果，使得模型输出的概率分布得以保持原有数据状态。相比于对损失函数固定加权的方法而言，其权重由训练效果决定，动态调整过程中，使得模型的训练更符合数据的本身，从而提升了模型的效果。在调整权重的过程中，提高预测准确度差的类别的权重，降低预测准确度好的类别的权重，使得模型对各类别的预测准确度得到均衡的提升。

技术领域

本发明涉及人工智能、机器学习与数据挖掘技术领域，具体涉及一种损失函数动态加权的方法。

背景技术

近年来，随着人工智能浪潮的涌起,人工智能、机器学习在学术界乃至工业界所占分量越来越大。

分类问题，是人工智能的一个大类问题。而实际环境中的数据往往分布不均衡，例如：在医学数据中，往往越是严重的疾病在所有疾病中占比越是小，但越是严重的疾病，其误诊或漏诊所带来的代价却越是大。

传统的模型训练中，使用简单的交叉熵函数计算模型与实际数据的损失。由于损失函数的设计对各个类别一视同仁，所以并未特意照顾到比例少但是代价越大的少量样本。因此，也造成了，使用常规的交叉熵作为损失函数，训练出来的模型，对于样本数量较少的类别分类效果不佳，但往往这些样本数量少的类别却是关注度高的类别。

在真实的环境中，往往各类别的学习难度不同，有的类别有比较简单固定的模式，较容易训练，而有的类别的样本，模式复杂多变，模型学习难度大。然而类别的难易学程度，很难在模型训练前准确定量估计。在事前使用固定的针对损失函数的各类别进行加权的方法无法在训练中做到随机应变，训练效果往往不尽如人意。

对于不均衡的样本进行重采样的方法，在超大规模数据集上使用效果尚可，但一旦数据规模不够大，则会出现样本数量少的或者是易学的类别已经过学习了，而样本数量大的或是难学的类别学习还不充分。

发明内容

本发明为了克服以上技术的不足，提供了一种提高预测准确度差的类别的权重，降低预测准确度好的类别的权重，使得模型对各类别的预测准确度得到均衡的提升的损失函数动态加权的方法。

本发明克服其技术问题所采用的技术方案是：

一种损失函数动态加权的方法，包括如下步骤：

a)计算机获取数据集中类别数目，将类别数目表示为C，获取数据集中第i类的样本数量，表示为N_i，1≤i≤C，i为正整数，通过公式计算数据集中样本数量；

b)构建数据集中每个类别的损失函数权重向量为{α₁,α₂,α₃,……,α_C}，损失权重向量满足限制条件其中α_i为第i类的损失函数权重；

c)根据步骤b)中的限制条件联立方程组求解得到损失函数权重向量中各个类别损失函数权重的值，将求解得到的每个类别损失函数权重的值初始化朴素交叉熵损失函数及Focal Loss损失函数；

d)使用初始化的朴素交叉熵损失函数及初始化的Focal Loss损失函数对分类器模型进行训练，如果训练达到完成状态则停止训练，如果训练没有完成则返回执行步骤c)；

e)统计分类器模型的训练集中每个类别样本的准确度为{T₁,T₂,T₃,……,T_C}，其中T_i为训练集中第i类的准确度，1≤i≤C，统计分类器模型训练的验证集中每个类别样本的准确度为{V₁,V₂,V₃,……,V_C}，其中V_i为验证集中第i类的准确度，1≤i≤C；