[发明专利]训练计算机实施的模型的方法和设备

说明书

公开了训练计算机实施的模型的方法和设备。所述方法包括：获得第一训练数据集；基于第一训练数据集对计算机实施的模型进行预训练，获得预训练模型；获得第二训练数据集；基于与预训练模型的滤波器对应的二值掩码的掩码权重的分布和在计算机实施的模型中设置的与学习率相关的参数中的至少一者来设置掩码权重的搜索范围；识别掩码权重之中的位于搜索范围中的目标掩码权重；使用第二训练数据集对预训练模型进行再训练，并基于二值掩码和预训练模型来更新目标掩码权重；和基于更新的目标掩码权重和预设的参考值来更新二值掩码的一部分。

本申请要求于2020年4月6日在韩国知识产权局提交的第10-2020-0041638号韩国专利申请以及于2020年7月21日在韩国知识产权局提交的第10-2020-0090452号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及训练计算机实施的模型的方法和设备。

背景技术

计算机视觉旨在从图像提取有用的信息。随着卷积神经网络(CNN)作为一种用于计算机视觉任务的算法出现，已经开发了大量的加速器，以在边缘设备(edge device)中构建快速有效的人工智能(AI)系统。然而，系统的可服务任务极大地依赖于使用远程服务器的全数据集(例如，具有1000个类的ImageNet)预训练的学习模型(例如，计算机实施的模型，计算机视觉模型)，因此，这样的系统的现有推断引擎的功能可被限制。

为了扩展计算机实施的模型的应用范围，可使用各种增量学习(IL)技术。IL技术的目标之一是基于预训练模型的知识利用新任务或一组类来有效地训练计算机实施的模型。然而，在基于梯度下降算法的学习处理中，这样的技术可能需要大量的计算和存储器访问，因此，可能不容易在边缘设备处直接使用该技术。

典型的IL的核心计算包括三个步骤：前向传播(FP)、反向传播(BP)和权重梯度计算(WGC)。FP和BP可具有与推断的计算和数据重用模式类似的计算和数据重用模式，因此，通过使用独特的数据流和数据特性的现有技术已经很好地实现这了这样的步骤的优化。然而，典型的WGC步骤在计算和数据重用模式方面与FP步骤和BP步骤大不相同。

发明内容

提供本发明内容以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。

在一个总体方面，一种训练计算机实施的模型的方法包括：获得第一训练数据集；基于第一训练数据集对计算机实施的模型进行预训练，获得预训练模型；获得第二训练数据集；基于与预训练模型的滤波器对应的二值掩码的掩码权重的分布和在计算机实施的模型中设置的与学习率相关的参数中的至少一者来设置掩码权重的搜索范围；识别掩码权重之中的位于搜索范围中的目标掩码权重；使用第二训练数据集对预训练模型进行再训练，并基于二值掩码和预训练模型来更新目标掩码权重；和基于更新的目标掩码权重和预设的参考值来更新二值掩码的一部分。

基于二值掩码和预训练模型来更新目标掩码权重的步骤可包括：通过基于二值掩码和预训练模型的滤波器确定所述再训练的目标掩码权重的梯度来更新目标掩码权重。

所述方法还可包括：将再训练、更新目标掩码权重和更新二值掩码的一部分的步骤重复预定的次数；基于通过所述重复而获得的另一与学习率相关的参数来重设搜索范围；识别掩码权重之中的位于重设的搜索范围中的另外的目标掩码权重；和再次执行再训练、更新目标掩码权重和更新二值掩码的一部分的步骤。

所述方法还可包括：通过将与预训练模型的滤波器对应的二值掩码的掩码权重初始化为大于参考值的常数来初始化二值掩码；和通过基于二值掩码和预训练模型执行用于更新掩码权重的一次或多次再训练来确定掩码权重的分布。

每次再训练可对应于一个训练回合。