[发明专利]基于Transformer时序预测的环境监测方法

说明书

本发明公开了一种基于Transformer时序预测的环境监测方法，该方法包括：获取当前环境中的气体浓度数据，气体浓度数据包括时间序列信息；将气体浓度数据输入至预先训练好的时序预测模型，以使时序预测模型中的第一子网络对气体浓度数据进行预处理得到全局数据；使编码器Encoder模型按照预设时间段从全局数据中获得多个局部数据，并确定各个局部数据相对于全局数据的自相关程度的概率分布；使译码器Decoder模型根据自相关程度的概率分布，确定当前时刻之后的预设时间段内待检测环境中的气体浓度。本发明改进了Transformer训练模型，引入了Bert的预训练模式，大大节约了模型的训练时间，同时采用扩张注意力机制缩减了模型的内存开销。

技术领域

本发明属于环境监测技术领域，具体涉及一种基于Transformer时序预测的环境监测方法。

背景技术

在环境监测领域中，气体浓度数据具有时间跨度大、周期性强的特点。目前，对环境中的气体浓度数据进行时间序列预测时，所采用的方法通常可分为三类，即：自回归模型、机器学习方法和神经网络方法。

然而，相关技术中基于自回归的ARIMA模型只能捕捉线性关系、不能捕捉非线性关系，一旦待预测的气体浓度数据为非线性，就需要耗费海量资源。对于机器学习方法，虽然时间序列数据预测的过程本质上与机器学习方法分类中的回归分析之间存在着紧密的联系，但随着数据周期的增长，传统的神经网络模型会出现数据的距离依赖问题，即数据早期的特征无法对模型产生应有的影响。而对于神经网络的方法，基于Encoder-Decoder的Transformer时间序列预测模型得到了广泛地应用，但是，在该模型的训练过程中，随着模型深度和数据长度的增加，需要消耗大量的内存空间及计算资源。

可见，在面临环境监测中的长时序数据时，相关技术中不仅存在距离依赖问题，计算资源大量消耗和模型训练速度的问题也成为上述方法实际应用的阻碍。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于Transformer时序预测的环境监测方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于Transformer时序预测的环境监测方法，包括：

获取当前环境中的气体浓度数据，所述气体浓度数据包括时间序列信息；

将所述气体浓度数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的第一子网络对所述气体浓度数据进行预处理，得到全局数据；

使编码器Encoder模型按照预设时间段从所述全局数据中获得多个局部数据，并确定各个局部数据相对于所述全局数据的自相关程度的概率分布；

使译码器Decoder模型根据所述自相关程度的概率分布，确定当前时刻之后的预设时间段内待检测环境中的气体浓度。

在本发明的一个实施例中，所述第一子网络包括因果卷积网络和三角时序定位网络；

所述将所述气体浓度数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的第一子网络对所述气体浓度数据进行预处理，得到全局数据的步骤，包括：

将所述当前环境中的气体浓度数据输入至所述因果卷积网络，以使所述因果卷积网络对所述气体浓度数据进行压缩，得到压缩数据；所述压缩数据包含所述气体浓度数据的周期特征；

将所述压缩数据输入至所述三角时序定位网络，以使所述三角时序定位网络确定压缩数据的时序位置信息，得到全局数据。

在本发明的一个实施例中，所述使编码器Encoder模型按照预设时间段从所述全局数据中获得多个局部数据，并确定各个局部数据相对于所述全局数据的自相关程度的概率分布的步骤，包括：