[发明专利]基于Transformer时序预测的环境监测方法

权利要求书

1.一种基于Transformer时序预测的环境监测方法，其特征在于，包括：

获取当前环境中的气体浓度数据，所述气体浓度数据包括时间序列信息；

将所述气体浓度数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的第一子网络对所述气体浓度数据进行预处理，得到全局数据；

使编码器Encoder模型按照预设时间段从所述全局数据中获得多个局部数据，并确定各个局部数据相对于所述全局数据的自相关程度的概率分布；

使译码器Decoder模型根据所述自相关程度的概率分布，确定当前时刻之后的预设时间段内待检测环境中的气体浓度。

2.根据权利要求1所述的基于Transformer时序预测的环境监测方法，其特征在于，所述第一子网络包括因果卷积网络和三角时序定位网络；

所述将所述气体浓度数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的第一子网络对所述气体浓度数据进行预处理，得到全局数据的步骤，包括：

将所述当前环境中的气体浓度数据输入至所述因果卷积网络，以使所述因果卷积网络对所述气体浓度数据进行压缩，得到压缩数据；所述压缩数据包含所述气体浓度数据的周期特征；

将所述压缩数据输入至所述三角时序定位网络，以使所述三角时序定位网络确定压缩数据的时序位置信息，得到全局数据。

3.根据权利要求2所述的基于Transformer时序预测的环境监测方法，其特征在于，所述使编码器Encoder模型按照预设时间段从所述全局数据中获得多个局部数据，并确定各个局部数据相对于所述全局数据的自相关程度的概率分布的步骤，包括：

使Encoder模型将所述全局数据按照预设时间段划分为多个局部数据，并针对每个局部数据，根据其时序位置信息对全局数据进行掩码操作；

按照如下公式确定所述全局数据中，与各个局部数据计算自相关程度的数据单元所在的位置：

其中，表示Encoder模型中第K层的第l个数据单元，表示与进行自相关程度计算的第K-1层中数据单元的位置；

根据所述数据单元的位置，分别确定各个局部数据与其在全局数据中对应的数据单元之间的自相关程度；

根据所述自相关程度，确定各所述局部数据相对于所述全局数据的自相关程度的概率分布。

4.根据权利要求3所述的基于Transformer时序预测的环境监测方法，其特征在于，所述使译码器Decoder模型根据所述自相关程度的概率分布，确定当前时刻之后的预设时间段内待检测环境中的气体浓度的步骤，包括：

将各局部数据相对于所述全局数据的自相关程度的概率分布输入至所述Decoder模型，以使所述Decoder模型在将下一时刻转化为时序位置信息后，根据各局部数据相对于所述全局数据的自相关程度的概率分布，利用交叉注意力机制预测当前时刻之后的预设时间段内待检测环境中的气体浓度。

5.根据权利要求1所述的基于Transformer时序预测的环境监测方法，其特征在于，所述时序预测模型采用以下步骤训练得到：

获取训练样本，所述训练样本包括不同时刻下大气环境中的气体浓度；

将训练样本输入至待训练的Transformer自注意力模型，利用自注意力机制预测所述训练样本在下一时刻的第一气体浓度；

根据所述第一气体浓度、下一时刻的实际气体浓度以及预设的损失函数，计算损失值；

判断所述损失函值是否达到预阈值；若否，则调整所述待训练的Transformer自注意力模型中因果卷积网络、Encoder模型和Decoder模型的参数，并返回所述将训练样本输入至待训练的Transformer自注意力模型的步骤；若是，则获得训练完成的时序预测模型。

6.根据权利要求5所述的基于Transformer时序预测的环境监测方法，其特征在于，所述预设的损失函数为：

其中，p(x_i)表示预测得到的时序位置为i的气体浓度，q(x_i)表示时序位置为的实际气体浓度。

7.根据权利要求2所述的基于Transformer时序预测的环境监测方法，其特征在于，所述三角时序定位网络按照如下公式确定所述压缩数据的时序位置信息：

其中，pos表示待编码的时序位置信息在所述时间序列信息中的相对位置，i表示时间序列向量的维度，d_model表示Encoder模型中全局数据的维度。