[发明专利]一种基于元学习的小样本学习方法、装置和电子设备

说明书

本发明公开了一种基于元学习的小样本学习方法、装置和电子设备。本发明的方法包括：构建元学习的训练任务集，所述训练任务集包括多个训练任务；初始化元网络的模型参数和超参数；循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。本发明的技术方案通过分别优化元网络的模型参数和超参数，可以显著提高元网络的泛化能力。

技术领域

本发明涉及机器学习技术领域，具体涉及一种基于元学习的小样本学习方法、装置和电子设备。

背景技术

机器学习、特别是深度学习自兴起以来已成功应用于计算机视觉、自然语言处理、数据挖掘等多个领域。其之所以能在这些领域取得良好的表现的一个重要因素在于，在这些领域中易于获取海量标记数据。然而，由于诸如隐私、安全性或数据的高标签成本等一系列因素，许多现实的应用场景(例如在医学，军事和金融领域)没有条件获取足够数量的带标签的训练样本。因此，如何使得一个机器学习或深度学习系统能够从非常少量的样本中高效地学习和推广其认知能力，成为许多机器学习或深度学习研究人员迫切期待实现的蓝图。

其中小样本学习(又称为few-shot learning，简记为FSL)预计不会依赖大规模的训练样本，从而避免了某些特定应用中数据准备的高昂成本，且可以为一项新出现的、可采集样本很少的任务实现低成本，快速的模型部署。

目前的小样本学习方法，一般是通过对元网络的模型参数进行训练，提高元网络的泛化能力。但实际应用中，影响元网络的泛化能力的参数不但包括模型参数，还包括超参数。因此，现有技术中只对模型参数进行优化，只能有限的提高元网络的泛化能力的。

发明内容

有鉴于此，本发明的主要目的在于提供了一种基于元学习的小样本学习方法、装置和电子设备，用于提高元网络的泛化能力。

依据本发明的第一方面，提供了一种基于元学习的小样本学习方法，包括：

构建元学习的训练任务集，所述训练任务集包括多个训练任务；

初始化元网络的模型参数和超参数；

循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；

在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。

依据本发明的第二方面，提供了一种基于元学习的小样本学习装置，包括：

数据构建单元，用于构建元学习的训练任务集，所述训练任务集包括多个训练任务；

初始化单元，用于初始化元网络的模型参数和超参数；

更新单元，用于循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；

停止更新单元，用于在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。

依据本发明的第三方面，提供了一种电子设备，包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述基于元学习的小样本学习方法。