[发明专利]模型集成预测方法、系统、电子设备及存储介质

说明书

本发明提出一种模型集成预测方法、系统、电子设备及存储介质，其方法技术方案包括训练数据保存步骤，将训练阶段所有待集成模型的正确预测数据保存为一数据库；注意力集合计算步骤，获取一预测阶段的预测数据，根据所述预测数据与所述数据库中数据的余弦相似度，基于注意力机制计算得到一注意力分数集合；模型集成预测步骤，通过所述待集成模型对所述预测数据进行预测，根据预测结果和所述注意力分数集合进行集成模型预测。本申请解决了现有集成方法对子模型的提高效果有限、而且可解释性较差的问题。

技术领域

本发明属于模型集成技术领域，尤其涉及一种模型集成预测方法、系统、电子设备及存储介质。

背景技术

在机器学习领域中，同一个问题通常可以利用不同参数、不同结构的多种模型来解决，需要一种方法将不同模型的集成为一个健壮的模型，同时还需要保证集成后的模型要优于基础的子模型。

现有技术中包括：Bagging(bootstrap aggregating)，分类问题采用N个模型预测投票的方式，回归问题采用N个模型预测平均的方式；Boosting，刚开始训练时对每一个训练例赋相等的权重，然后用该算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在每次学习以后更注意学错的样本，从而得到多个预测函数；Stacking，首先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。

现有的模型集成技术都是从模型的组合方式出发，没有考虑数据本身的分布问题，普通的投票集成方法会导致数据倾斜的问题。机器学习的最终任务是需要通过模型的训练学习到数据的特征，每一个完成训练的子模型都对应着它学习到的数据分布。已有的模型集成方法只是改变了采样方式、数据传播方式等，集成方法对子模型的提高效果有限，而且可解释性较差。

发明内容

本申请实施例提供了一种模型集成预测方法、系统、电子设备及存储介质，以至少解决现有集成方法对子模型的提高效果有限、而且可解释性较差的问题。

第一方面，本申请实施例提供了一种模型集成预测方法，包括：训练数据保存步骤，将训练阶段所有待集成模型的正确预测数据保存为一数据库；注意力集合计算步骤，获取一预测阶段的预测数据，根据所述预测数据与所述数据库中数据的余弦相似度，基于注意力机制计算得到一注意力分数集合；模型集成预测步骤，通过所述待集成模型对所述预测数据进行预测，根据预测结果和所述注意力分数集合进行集成模型预测。

在其中一些实施例中，所述注意力集合计算步骤进一步包括：分别计算所述预测数据与所述数据库中每个所述待集成模型的每个数据的余弦相似度，进一步计算每个所述待集成模型的平均相似度，并进一步将每个所述待集成模型的平均相似度归一化得到所述注意力分数集合。

在其中一些实施例中，所述注意力集合计算步骤进一步包括：在所述预测数据与每个所述待集成模型的数据的余弦相似度中，从大到小依次选取K个所述余弦相似度数值，计算每个所述待集成模型的平均相似度。

在其中一些实施例中，所述模型集成预测步骤进一步包括：通过所述待集成模型对所述预测数据进行预测，得到每个所述待集成模型的预测结果并形成预测集合，将所述预测集合和所述注意力分数集合做乘积得到结果向量，并根据所述结果向量进行集成模型预测。

第二方面，本申请实施例提供了一种模型集成预测系统，适用于上述一种模型集成预测方法，包括：训练数据保存模块，将训练阶段所有待集成模型的正确预测数据保存为一数据库；注意力集合计算模块，获取一预测阶段的预测数据，根据所述预测数据与所述数据库中数据的余弦相似度，基于注意力机制计算得到一注意力分数集合；模型集成预测模块，通过所述待集成模型对所述预测数据进行预测，根据预测结果和所述注意力分数集合进行集成模型预测。