[发明专利]基于注意力机制的机器学习模型的融合方法

说明书

本发明涉及基于注意力机制的机器学习模型的融合方法，包括步骤：A.制定机器学习任务要学习的目标，并训练得到至少两个子模型，各子模型的输出结果组合成一个向量；B.构建注意力模块，包括多个具有注意力机制的全连接神经网络，先对所述向量升维和学习高维交互特征，再对向量降维后输出，向量长度为子模型个数，向量中各元素的值对应各子模型的权重；C.融合子模型：将预测样本的变量输入子模型得到向量，并输入到注意力模块得到各对应子模型的权重，对子模型的输出结果进行加权融合。本发明能够根据融合变量的变化来对子模型融合时的权重进行相应的输出，使融合后的输出更接近真实值，有效提高了融合后输出的准确性。

技术领域

本发明涉及机器学习模型的融合方法，具体讲是基于注意力机制的机器学习模型的融合方法。

背景技术

注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制被称为注意力机制。为了合理利用有限的视觉信息处理资源，人们需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。因此，注意力机制主要有两个方面：决定需要关注的是哪部分；分配有限的信息处理资源给重要的部分。

注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力。在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。关于更详细的注意力机制的原理和实现，可以参考：

https://baike.baidu.com/item/％E6％B3％A8％E6％84％8F％E5％8A％9B％E6％9C％BA％E5％88％B6/22768534；

以及：https://blog.csdn.net/hpulfc/article/details/80448570。

现有的机器学习模型常用的融合方法有：简单平均融合、线性加权融合、Stacking融合。其中，

简单平均融合：将要融合的各个子模型的输出结果取算术平均得到融合结果；

线性加权融合：根据专家经验或者根据模型的效果遍历搜索得到各子模型的权重，并对各子模型的输出结果分配对应的权重后，加权平均得到融合结果；

Stacking融合：将数据划分为多个子数据集，在不同的数据集上训练子模型，再将子模型堆叠起来，通常是用一个逻辑回归模型学习得到各子模型对应的权重，最终将各子模型加权融合；

由上述可知，现有的简单平均融合、线性加权融合、Stacking融合等方法，均是基于给定的、确定的模型权重，各子模型的权重相对固定，不能根据要融合的变量动态调整，因此融合以后输出的效果不够理想。

发明内容

本发明提供了一种基于注意力机制的机器学习模型的融合方法，可以根据融合变量的变化对子模型的权重进行相应的调整，以使融合后的输出更接近真实值。

本发明基于注意力机制的机器学习模型的融合方法，包括：

步骤A.根据相应的应用场景，制定机器学习任务要学习的目标，并使用收集到的数据集通过现有方法训练得到至少两个子模型，各子模型根据输入的变量得到各自对应的输出结果，并将各子模型的输出结果组合成一个向量，向量中的每个元素对应一个子模型，将该向量存储到磁盘的结构空间中；例如，子模型0的输出结果为0.11，子模型1的输出结果为0.34，子模型N的输出结果为0.66，则N个子模型的输出结果组合成一个N维的向量S＝[0.11,0.34,…,0.66]。