[发明专利]一种基于三元组多样范例集和梯度正则化的增量学习方法

说明书

本发明提出了一种基于三元组多样范例集和梯度正则化的增量学习方法、计算机及存储介质，属于人工智能领域。首先，得到的预测样本特征和真实标签，并输入损失函数进行反向传播更新模型参数；其次，计算批次数据的原型表示；再其次，计算每个类别应保存的正例样本的数量和反例样本的数量；再其次，更新已有类别的范例集应存储的范例的数量；再其次，对正例集合范例集中的样本进行打分，根据样本的分数构建当前类别范例集；再其次，随机取样获得重演样本集，然后对重演样本集和批次数据中的样本进行前向传播；再其次，计算三种损失函数的梯度；最后，对三种不同梯度进行正则化，得到最终的梯度值进行反向传播更新。本发明解决了灾难性遗忘的问题。

技术领域

本发明涉及一种增量学习方法，尤其涉及一种基于三元组多样范例集和梯度正则化的增量学习方法、计算机及存储介质，属于人工智能领域。

背景技术

增量学习是人工智能领域中的一个重要学习训练方法，该方法的目标是能够在序列化输入训练数据的情况下，增量式地训练更新模型参数而不是从零开始训练，并且使得模型在学习新的知识的同时不会遗忘已学过的旧知识。

现有的基于重演的增量学习方法所采用的范例选择策略大部分类似于最近邻的思想，选取与类特征中心距离最近的样本，保证了每次选取的样本的代表性。但是这样的范例集的分布就不能很好的覆盖原训练样本的数据分布，所以在之后的重演训练中并不能很好地描述旧任务的优化空间分布。同时，现有的基于重演的增量学习方法大多将范例数据放入蒸馏损失函数中进行优化，使用的手段比较简单，并不能高效地利用范例数据来约束优化的方向与大小。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明提供了一种基于三元组多样范例集和梯度正则化的增量学习方法，包括以下步骤：

S1.将第一个任务的批次训练数据输入模型进行前向传播得到预测样本特征，将得到的预测样本特征和真实标签输入损失函数进行反向传播更新模型参数；

S2.完成第一个任务的批次数据的训练后，再次将第一个任务的批次训练数据输入模型，计算批次数据的原型表示；

S3.计算每个类别应保存的正例样本的数量和反例样本的数量；若当前处于第一个任务的训练阶段，执行步骤S5，若当前处于增量状态任务的训练阶段，执行步骤S4，若当前所有类别的准确度都计算完成，程序结束；

S4.更新已有类别的范例集应存储的范例的数量；

S5.将训练数据预测样本特征划分为正例集和反例集，对两个集合中的样本进行打分，根据样本的分数和每个类别应保存的正例样本的数量和反例样本的数量构建当前类别范例集；

S6.开始增量状态任务训练工作，对所有已知类别的范例集进行随机取样获得重演样本集，然后对重演样本集和批次数据中的样本进行前向传播；

S7.将批次数据输入损失函数计算损失函数值，得到三种损失函数的梯度；

S8.对三种不同梯度进行正则化，得到最终的梯度值进行反向传播更新，反向传播更新完成后，跳转到步骤S3。

优选的，步骤S1所述将第一个任务的批次训练数据输入模型进行前向传播得到特征，将得到的特征和真实标签输入损失函数进行反向传播更新模型参数的具体方法：

S11.随机初始化模型参数，开始第一个任务的训练，从数据集中随机选取一个批次的训练数据，一个批次包含10张图片，将每张图片转换为1×3072维度的张量后输入到特征提取器中，得到对应的1×100维度的特征，如以下公式所示：