[发明专利]一种基于三元组多样范例集和梯度正则化的增量学习方法

权利要求书

1.一种基于三元组多样范例集和梯度正则化的增量学习方法，其特征在于，包括以下步骤：

S1.将第一个任务的批次训练数据输入模型进行前向传播得到预测样本特征，将得到的预测样本特征和真实标签输入损失函数进行反向传播更新模型参数，具体方法是：

S11.随机初始化模型参数，开始第一个任务的训练，从数据集中随机选取一个批次的训练数据，一个批次包含10张图片，将每张图片转换为1×3072维度的张量后输入到特征提取器中，得到对应的1×100维度的特征，如以下公式所示：

V＝{φ(x_i；θ)},i∈1,2,...,|B|

其中，V是包含了一个批次的图片对应的特征的集合，φ是特征提取器，x_i是一个批次中的第i个样本的样本值，θ是特征提取器的参数，B代表了一个批次的数据，即10张图片，|B|代表了一个批次里的样本数量，| |代表了求第一范数的操作；

S12.完成特征提取工作之后，将步骤S11得到的特征集合V输入到分类器中，使用第一个任务的分类损失函数和随机梯度下降来优化模型，如以下公式所示：

其中，L₀表示第一个任务的分类损失函数，y表示真实标签，v表示样本特征，y_i表示第i个样本的真实标签，v_i表示第i个样本的样本特征，是分类器，log( )代表了求对数的操作；所述模型包括特征提取器和分类器；

S2.完成第一个任务的批次数据的训练后，再次将第一个任务的批次训练数据输入模型，计算批次数据的原型表示，具体方法是：

S21.完成当前批次数据B的训练之后，再次将训练样本输入特征提取器中得到对应的样本特征，对当前批次数据B中所有属于c类别的样本特征求和并除以对应的样本特征的数量|B_c|，得到c类别的原型表示，原型表示代表了对应类别在特征空间的中心向量，每个类别都有一个原型表示，如以下公式所示：

其中，代表了通过当前批次计算得到的原型表示的集合，B_c代表了当前批次数据B中所有属于c类别的样本，|B_c|代表了当前批次数据B中所有属于c类别的样本的数量，φ是特征提取器，代表了当前批次数据B中属于c类别的第i个样本的样本值，n代表了当前批次数据B所包含的类别的数量；

S22.在步骤S21得到的原型表示的集合之后，更新对应类别c的原型表示，如以下公式所示：

其中，代表了在步骤S21得到的原型表示的集合，代表了集合中属于c类别的原型表示，代表了缓存中存储的原型表示的集合，代表了集合中属于c类别的原型表示，μ代表了一个平衡用的超参数，n代表了当前批次数据B所包含的类别的数量；

S3.计算每个类别应保存的正例样本的数量和反例样本的数量；若当前处于第一个任务的训练阶段，执行步骤S5，若当前处于增量状态任务的训练阶段，执行步骤S4，若当前所有类别的准确度都计算完成，程序结束；

S4.更新已有类别的范例集应存储的范例的数量；

S5.将训练数据预测样本特征划分为正例集和反例集，对两个集合中的样本进行打分，根据样本的分数和每个类别应保存的正例样本的数量和反例样本的数量构建当前类别范例集；

S6.开始增量状态任务训练工作，对所有已知类别的范例集进行随机取样获得重演样本集，然后对重演样本集和批次数据中的样本进行前向传播；

S7.将批次数据输入损失函数计算损失函数值，得到三种损失函数的梯度；

S8.对三种不同梯度进行正则化，得到最终的梯度值进行反向传播更新，反向传播更新完成后，跳转到步骤S3。