[发明专利]一种基于多级分解和融合的时序预测系统及方法

说明书

本发明提供一种基于多级分解和融合的时序预测系统及方法，该系统基于Transformer的神经网络，遵循编码器‑解码器结构，所述编码器包含多个相同的编码器块，所述解码器包含多个相同的解码器块。依据预测任务设置初始序列，编码器的每一个编码器块将得到的初始编码序列进行两次混合时序分解和两次交叉融合，得到季节信息经过两次增强的编码序列。解码器的每一个解码器块将得到的初始解码序列进行三次混合时序分解和一次交叉融合，得到季节信息经过再一次增强的解码序列，本申请通过在编码器和解码器内部进行多级的混合时序分解与交叉融合策略，可以增强系统模型学习时序特征的能力，有效提升模型进行时序预测任务的性能。

技术领域

本申请涉及基于神经网络算法的深度学习技术领域，尤其涉及一种基于多级分解和融合的时序预测系统及方法。

背景技术

在大数据时代，各类数据的规模迎来爆发式增长，面对海量且持续更新的时间序列数据，构建有效的准确性高的预测模型具有重要的研究意义。时间序列预测作为人工智能、数据挖掘的重要技术，已被广泛应用于生产生活中并产生了巨大的经济和社会效益，例如气象预报、新能源发电、金融股市、市场营销、城市交通等。上述例子都以时间序列作为数据形式，却存在着各自的时序特性，如气象数据因为地球的公转和自转具有明显的季节性(以一定频率上下波动)，新能源发电受生产要素即风和光资源特性的影响时序差异明显，金融数据由于交易方博弈、业绩和政策等影响极易波动。时间序列的数值是许多外界因素综合作用的结果，因此其具备一定的随机性，对时间序列的准确分析与预测一直是学界和业界的研究重点。

近年来，深度学习在许多领域的优势逐渐凸显，特别是基于Transformer架构的神经网络在自然语言处理、计算机视觉、时间序列预测等人工智能主要领域中相继取得突破性进展。相比于传统方法，深度神经网络具有强大的特征提取和非线性拟合能力，已成为时间序列预测的首选模型。

但当前的方法仍不能很好地应对时序预测中一些问题，例如难以准确地预测长时间序列，随着预测步长的增加，模型所产生的误差可能累积到使得预测失去意义的程度，这种缺陷使得大多数模型仅能用于短期预测。此外，一个时间序列往往是几种模式(Patterns)的叠加或耦合，对于时间序列中存在的多种潜在模式，通常会使用时间序列分解方法显式提取。但是这些分解往往仅作为特征工程方法与神经网络预测模型结合使用，没有深层次的融合，它们作为独立的参数无法通过反向传播参与全局优化，因此当前的混合模型仍难以有效提取复杂的全局时序特征和模式。

发明内容

本发明目的在于提供一种基于多级分解和融合的时序预测系统和方法，基于小波分解、季节性-趋势分解两种常见的序列分解思想对系统内部编码器和解码器进行改进，并通过多级分解与交叉融合策略增强模型学习时序特征及模式的能力，有效提升了模型进行时序预测任务的性能。

本发明提供一种基于多级分解和融合的时序预测系统，包括：

编码器，包含多个相同的编码器块；所述编码器的每一个编码器块包含：

第一级编码器时序分解及融合单元，包含第一个多头自注意力模块(Multi-HeadSelf-Attention)，第一个用于神经网络的小波分解模块(WTDU1)，第一个用于神经网络的季节性-趋势分解模块(STDU1)；所述第一级编码器时序分解及融合单元获取上一级编码器块的输出序列做为第一编码序列；所述第一个多头自注意力模块基于所述第一编码序列提取相关性得到第二编码序列；所述WTDU1将所述第一编码序列分解得到第一高频分量和第一低频分量；所述STDU1将所述第一编码序列与所述第二编码序列相加得到的序列分解得到第一季节分量；采用交叉融合策略将所述第一高频分量、所述第一低频分量融合到所述第一季节分量进行连接，得到第一次季节信息增强表达的序列；将所述第一次季节信息增强表达的序列与所述第一季节分量进行相加后得到第三编码序列，将所述第一次季节信息增强表达的序列与所述第一低频分量进行相加后得到第四编码序列；