[发明专利]一种基于无监督多模型融合的时序任务预测方法和装置

说明书

本发明涉及一种基于无监督多模型融合的时序任务预测方法和装置，其中方法包括将时序任务输入优化好的目标模型中，得到预测结果，优化好的预测模型优化过程如下：初始化源模型和目标模型，将无标签数据集输入源模型中，根据源模型输出的时序特征和预测结果，计算联合损失函数，继而循环优化输入目标模型。与现有技术相比，本发明具有预测结果更精确等优点。

技术领域

本发明涉及数据挖掘与机器学习领域，尤其是涉及一种基于无监督多模型融合的时序任务预测方法和装置。

背景技术

在现实应用中，大量机器学习模型仅针对特定任务设计，完成任务后即失去使用价值。然而，一个精心设计和训练的模型通常高度凝练了训练数据蕴含的“知识”。模型复用的目标是利用已有的预训练模型辅助目标模型学习，尤其适用于数据量及数据标注不足的情形。模型复用的主要方法包括知识蒸馏、知识融合。

知识蒸馏通过拟合源模型输出的软标签，提升轻量化目标模型的性能。随后，基于中间层约束的蒸馏方法发展迅速。注意力迁移通过配准源模型与目标模型间多组注意力特征图，为特征层的知识蒸馏增加更强的逐层约束。类似的，Aguilar等人通过大型模型的中间层内部表征引导简单模型的训练，相比于软标签的学习方式更加有效。除了可以实现模型压缩之外，知识蒸馏还可以显著地加快目标模型的训练。目前，知识蒸馏大多应用于单个源模型、相同任务域的情形，即使涉及多个源模型也要求源模型与目标模型的任务域严格对齐。

知识融合的研究重点在于源模型和目标模型之间多对一的知识传递，即把多个不同任务的源模型相融合，得到兼具各源模型任务能力的目标模型。Shen等人提出了一种面向图像细粒度分类的卷积网络知识融合框架，使用卷积自编码器融合多个源模型对应层的特征图，得到每一层的复合特征图，之后逐层进行回归，最终将所有回归模块串联得到目标模型。之后的研究也沿袭了此思路，Ye等人选用带分支的沙漏型网络作为目标模型，实现了不同图像像素级任务间的融合。但此方法要求源模型之间在层次结构上基本保持一致，适用性不足。Luo等人提出基于公共特征学习的异构卷积网络融合方法，将源模型和目标模型末端的特征图变换到公共特征空间计算损失，放宽了对源模型的结构约束。知识融合的相关研究还不广泛，目前的成果主要集中于图像领域的卷积网络融合，对于时序任务缺乏成熟的算法框架。

时序预测主要应用于对于某地区天气的预测或者是在工业生产中对轴承的使用情况进行预测。现有的针对时序任务的预测方法虽然涉及了模型的融合，但仅仅只是将数据输入多个模型，并各设一个独立的判断标准，这种方法要求所有模型的功能以及参数具有极高的一致性，相当于多个人对同一件事进行投票，而这样就要求每个人都具有相同的水准，否则会大大影响判断的准确度，而现有的技术难以实现模型的统一，对于时序任务的预测并不准确。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于无监督多模型融合的时序任务预测方法和装置。

本发明的目的可以通过以下技术方案来实现：

一种基于无监督多模型融合的时序任务预测方法，包括以下步骤：

将时序任务输入优化好的目标模型中，得到预测结果，所述优化好的预测模型优化过程如下：

S1、初始化无标签数据集、多个源模型、源模型任务、目标模型、目标任务和特征融合模块；

S2、随机采样无标签数据集中的若干数据，输入所有源模型中，得到若干组时序特征和预测结果；

S3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，并输入特征融合模块，得到特征融合损失；

S4、将每组数据对应的所有源模型的预测结果拼接，并根据拼接好的时序特征消除预测冲突，得到真实预测结果，并根据真实预测结果计算得到分类损失；

S5、将步骤S2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型。