[发明专利]一种机器学习模型训练方法和装置

说明书

本发明实施例提供了一种机器学习模型训练方法，该方法包括：获取目标任务训练数据和N类支撑任务训练数据；将所述目标任务训练数据和所述N类支撑任务训练数据输入记忆模型，得到目标任务训练特征数据和N类支撑任务训练特征数据；根据所述目标任务训练特征数据训练所述目标任务模型并得到所述目标任务模型的第一损失，以及根据所述N类支撑任务训练特征数据分别训练各自对应的支撑任务模型并得到所述N个支撑任务模型各自的第二损失；根据所述第一损失和所述N个支撑任务模型各自的第二损失更新所述记忆模型、所述目标任务模型、所述N个支撑任务模型。通过本发明实施例提供的方法训练机器学习模型，能够提高预测结果的准确性。

技术领域

本发明涉及机器学习领域，尤其涉及一种机器学习模型训练方法和装置。

背景技术

机器学习算法的发展奠定了人工智能技术很多应用场景中成功应用的基础。但是当前的机器学习算法，尤其是深度学习方法，都依赖于大量的训练数据来训练模型中参数。然而在很多场景中，获取训练数据成为了一个难题。在机器人、智能驾驶和机器翻译中，很难获取很多训练数据，即使当前有很多数据，但是训练数据需要对每个已有数据进行标记，标记数据需要消耗大量的人力物力。因此基于少量训练数据的机器学习方法就显得重要，而小样本机器学习和传统机器学习相比，除了在训练数据的规模上不一样以外，可应用范围是一致的，包括分类、回归、增强学习以及机器翻译等等。由此可见小样本机器学习存在巨大的潜在商业价值。

小样本学习一般是通过小样本任务中的训练数据(meta-training)生成一个学习器(learner)，再由学习器来完成对于小样本任务中的测试数据(meta-testing)的预测，由于训练数据和测试数据包含的类别不同，小样本学习只能利用已有训练数据进行训练，导致得到的机器学习模型过拟合在训练数据上，在测试数据上的性能不佳；并且，现在的机器学习模型的训练都是单独训练，训练得到的机器学习模型在执行相应任务时，预测性能同样不佳。

发明内容

针对现有技术存在的技术问题，本发明实施例提供了一种机器学习模型的训练方法，通过该方法训练得到的机器学习模型的性能得到明显的提升，用于小样本学习更能够避免得到的模型过拟合在训练数据上，在测试数据上的性能不佳的问题。

第一方面，本发明实施例提供了一种机器学习模型的训练方法，该训练方法包括：获取目标任务训练数据和N类支撑任务训练数据，其中，所述目标任务训练数据和所述N类支撑任务训练数据均为标注数据，标注数据是指包含特征信息和标签用于训练模型的数据，所述目标任务训练数据对应目标任务模型，所述N类支撑任务训练数据与N个支撑任务模型一一对应，所述N为正整数；将所述目标任务训练数据和所述N类支撑任务训练数据输入记忆模型，得到目标任务训练特征数据和N类支撑任务训练特征数据，其中，所述目标任务训练特征数据和所述N类支撑任务训练特征数据均为标注数据，所述目标任务训练特征数据与所述目标任务训练数据对应，所述N类支撑任务训练特征数据与所述N类支撑任务训练数据一一对应，也就是说，记忆模型是对训练数据中的特征信息进行抽象提取，标签并不会发生变化，当然在对特征信息提取过程中是否利用相应的标签则由具体的记忆模型的架构或算法相关；根据所述目标任务训练特征数据训练所述目标任务模型并得到所述目标任务模型的第一损失，以及根据所述N类支撑任务训练特征数据分别训练各自对应的支撑任务模型并得到所述N个支撑任务模型各自的第二损失；根据所述第一损失和所述N个支撑任务模型各自的第二损失更新所述记忆模型、所述目标任务模型、所述N个支撑任务模型。使用该训练方法训练目标任务模型，能够通过记忆模型在训练过程中将其他模型的优势抽象保存并引入至目标任务模型，具体地，将目标任务模型的损失和支撑任务模型的损失一同用于更新记忆模型、标任务模型和支撑任务模型，实现提高训练后的目标任务模型的性能得到显著的提高。