[发明专利]用于机器学习的设备和机器学习的计算机实现的方法

说明书

本发明涉及机器学习用于根据第一参数将数据集映射为任务的解的模型的设备和计算机实现的方法，其特征在于，确定第二参数以用于在第一次学习迭代中将第二参数分配给第一参数，且确定第三参数以用于根据第三参数和根据用于评估任务的解的度量来确定在至少一次学习迭代中改变第一参数的速率，其中确定第二参数或第三参数包括确定初始值问题的解，该解取决于度量关于第一参数的导数，其中确定解包括根据初始值确定初始值问题的解的第一部分，根据第一部分确定初始值问题的解的第二部分，确定第一部分的偏导数，确定第二部分的偏导数，并根据偏导数中的至少一个确定第二参数和/或第三参数。

技术领域

本发明涉及一种用于机器学习、特别是模型的机器学习的设备，和一种机器学习、特别是模型的机器学习的计算机实现的方法。

背景技术

在机器学习中，模型的参数集是根据学习规则在训练迭代中确定的。基于梯度的元学习旨在使学习规则适应于相关的任务集。所述学习规则描述了所述参数集如何随着训练迭代而变化。

模型不可知元学习（Model Agnostic Meta Learning）MAML是基于梯度的元学习的示例。MAML的示例描述在Model-Agnostic Meta-Learning for Fast Adaptation ofDeep Networks中，可从https://arxiv.org/abs/1703.03400检索到该文献。

包括MAML在内的基于梯度的元学习方法使用梯度下降的变型来确定学习规则。

发明内容

用于机器学习的设备和机器学习的计算机实现的方法使用作为梯度流变型的学习规则。梯度下降是梯度流的特例。梯度流是具有无穷小步长的梯度下降，或等效地是在连续时间内的梯度下降。对于梯度流，所述学习规则由常微分方程ODE给出，该常微分方程描述感兴趣参数随时间的变化。用梯度流学习是初始值问题IVP，即给定参数的初始值和描述所述参数随时间变化的ODE，计算所述参数在未来某个时间的值。

机器学习用于根据第一参数将数据集映射为任务的解的模型的计算机实现的方法包括确定第二参数以用于在第一次学习迭代中将所述第二参数分配给所述第一参数，以及确定第三参数以用于根据所述第三参数和根据用于评估所述任务的解的度量来确定在至少一次学习迭代中改变所述第一参数的速率，其中确定第二参数或第三参数包括确定初始值问题的解，所述解取决于所述度量关于所述第一参数的导数，其中确定所述解包括根据初始值确定所述初始值问题的解的第一部分，根据所述第一部分确定所述初始值问题的解的第二部分，确定所述第一部分的偏导数，确定所述第二部分的偏导数，并根据偏导数中的至少一个确定所述第二参数和/或所述第三参数。这显著提高了基于梯度的元学习的性能。该方法直接改进了机器学习系统。如果给定机器学习任务集，则该方法旨在使机器学习系统更好地学习解决相关任务。

优选地，该方法包括从分布中采样所述任务。

优选地，该方法包括从所述分布中采样一批任务，确定该批任务的多个偏导数，以及根据所述多个偏导数确定所述第二参数和/或所述第三参数。

优选地，该方法包括确定关于所述第一参数的偏导数，并根据所述偏导数的函数确定所述第二参数的变化，或者确定关于所述第三参数的偏导数并根据所述偏导数的函数确定所述第三参数的变化。

优选地，确定第二参数包括在求解所述初始值问题的多个步骤的第一步骤中随机地初始化所述初始值。

优选地，将所述第三参数在所述多个步骤的第一步骤中初始化为正标量或正标量的向量或矩阵。