[发明专利]持续学习的方法和装置

说明书

本申请提供了一种持续学习的方法和装置，属于机器学习技术领域。本申请中获取第一任务的第一训练样本、第一任务的第一模型和第二任务的第二训练样本，第一模型使用第一任务的训练样本训练获得。确定出第一模型在第一训练样本的第一损失梯度，以及第一模型在第二训练样本的第二损失梯度，然后使用第一损失梯度和第二损失梯度，更新第一模型的参数，获得更新后的第一模型。这样，由于使用第一损失梯度和第二损失梯度，对第一任务的第一模型进行更新，而不是使用第二任务的训练样本重新训练一个模型，所以不是对每个任务训练一个模型，进而可以减少训练资源的占用。

技术领域

本申请涉及机器学习技术领域，特别涉及一种持续学习的方法和装置。

背景技术

在机器学习技术领域中，通常是基于一个任务的训练样本，训练获得模型，该模型能够用于对该任务作出正确的预测。将该模型置于新任务下，无法对新任务作出正确的预测。因此在有新任务时，会基于新任务的训练样本，重新训练一个模型，用于对新任务作出正确的预测。

这样，对于每个任务均需要训练一个模型，会导致占用的训练资源比较多。

发明内容

本申请实施例提供了一种持续学习的方法、装置、设备和存储介质，能够减少训练开销。所述技术方案如下：

一方面，本申请提供了一种持续学习的方法，该方法包括：

获取第一任务的第一训练样本、所述第一任务的第一模型和第二任务的第二训练样本，其中，所述第一模型是基于所述第一任务的训练样本进行训练获得的；

基于目标损失函数，确定所述第一模型在所述第一训练样本的第一损失梯度；

基于所述目标损失函数，确定所述第一模型在所述第二训练样本的第二损失梯度；

基于所述第一损失梯度和所述第二损失梯度，调整所述第一模型的参数，获得更新后的第一模型。

另一方面，本申请提供了一种持续学习的装置，所述装置包括：

获取模块，用于获取第一任务的第一训练样本、所述第一任务的第一模型和第二任务的第二训练样本，其中，所述第一模型是基于所述第一任务的训练样本进行训练获得的；

确定模块，用于：

基于目标损失函数，确定所述第一模型在所述第一训练样本的第一损失梯度；

基于所述目标损失函数，确定所述第一模型在所述第二训练样本的第二损失梯度；

更新模块，用于基于所述第一损失梯度和所述第二损失梯度，调整所述第一模型的参数，获得更新后的第一模型。

再一方面，本申请提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如第一方面所述的持续学习的方法。

再一方面，本申请提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如第一方面所述的持续学习的方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例中，在增加新任务时，使用新任务的训练样本对应的损失梯度和训练过的任务对应的损失梯度，对训练过的任务的模型进行更新，而不是使用新任务的训练样本重新训练一个模型，所以不是对每个任务训练一个模型，进而可以减少训练资源的占用。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。