[发明专利]元学习方法和装置、初始化方法、计算设备和存储介质

说明书

本发明涉及风险预测模型的元学习方法和装置、初始化方法、计算设备和计算机可读存储介质。元学习方法包括：生成包括多个训练任务的训练任务集，其中多个训练任务被提供有各自不同的类别预测器；初始化元学习器、特征提取器和任务判别器的网络权重，其中所述类别预测器、元学习器、特征提取器和任务判别器为人工神经网络，类别预测器具有与元学习器相同的网络结构；将训练任务集中的训练任务划分为多个批次，并在每批次基础上更新元学习器、特征提取器和所述任务判别器的网络权重，其中更新是根据类别预测损失和任务判别损失进行的。该方法可以提高元学习器的泛化能力，从而在金融风控场景中的小样本训练中快速得到较优的风险预测模型。

技术领域

本发明涉及机器学习技术领域，具体来说涉及一种元学习方法和装置、初始化方法、计算设备和计算机可读存储介质。

背景技术

机器学习、特别是深度学习自兴起以来已成功应用于计算机视觉、自然语言处理、数据挖掘等多个领域。其之所以能在这些领域取得良好的表现的一个重要因素在于，在这些领域中易于获取海量标记数据。然而，在金融风控场景中，例如在支付、借贷、理财等金融业务环节中的风险控制中，不同客户群体的数据分布差异大，并且存在众多具有小样本特性的客户群体。因此，往往难以收集足够的标记样本以供传统机器学习从数据中提取风控相关的模式特征，从而容易出现模型过拟合现象。

元学习（Meta Learning）是机器学习的子领域。传统的机器学习问题是基于海量数据集从头开始学习一个用于预测的数学模型，这与人类学习、积累历史经验（也称为元知识）指导新的机器学习任务的过程相差甚远。元学习则是学习不同的机器学习任务的学习训练过程，以及学习如何更快更好地训练一个数学模型。

发明内容

有利的是，提供一种可以将从大量相关任务中学习到的元知识快速泛化到新的任务训练中从而在较少的样本条件下也能有效训练风险预测模型的机制。

根据本发明的第一方面，提供了一种由计算机实施的、风险预测模型的元学习方法，包括：生成包括多个训练任务T_i的训练任务集T，其中所述多个训练任务T_i被提供有各自不同的类别预测器P_i，不同的类别预测器P_i对应于不同的金融业务场景，每个训练任务T_i包括多个数据样本d_j，每个数据样本d_j包括相应用户的个人特征x_j、该相应用户的信用风险类别y_j、以及指示该数据样本d_j所属的训练任务的任务标签t_j；初始化元学习器的网络权重、特征提取器的网络权重和任务判别器的网络权重，其中所述类别预测器P_i、元学习器、特征提取器和任务判别器为人工神经网络，所述不同的类别预测器P_i具有与所述元学习器相同的网络结构，所述特征提取器被配置用于将数据样本映射到特征空间，每个所述类别预测器P_i被配置用于基于映射后的数据样本来预测该数据样本所代表的用户的信用风险类别，所述任务判别器被配置用于判别映射后的数据样本来自哪个训练任务，所述元学习器被配置用于从不同训练任务的类别预测器P_i学习网络权重以供初始化目标预测任务的类别预测器的网络权重；并且将所述训练任务集T中的训练任务T_i划分为多个批次T_train，并在每批次基础上更新所述元学习器的网络权重、所述特征提取器的网络权重和所述任务判别器的网络权重。在每批次基础上更新所述元学习器的网络权重包括：基于该批次T_train的训练任务T_i各自的类别预测损失来更新所述元学习器的网络权重，其中各所述类别预测损失指示该批次T_train的训练任务T_i各自的类别预测器P_i的预测误差。在每批次基础上更新所述特征提取器的网络权重包括：基于对抗损失来更新所述特征提取器的网络权重，其中所述对抗损失为该批次T_train的训练任务T_i各自的类别预测损失和各自的任务判别损失的相消累加，其中各所述任务判别损失指示所述任务判别器的判别误差。在每批次基础上更新所述任务判别器的网络权重包括：基于该批次T_train的训练任务T_i各自的任务判别损失来更新所述任务判别器的网络权重。