[发明专利]一种水污染时序数据连续缺失值填补方法

说明书

本发明涉及一种水污染时序数据连续缺失值填补方法。该方法首先基于DTW算法计算存在缺失值的序列与其他完整序列之间的相似性，然后使用最相似完整序列训练基模型BLSA，BLSA模型融合了Bi‑LSTM神经网络以及Self‑attention机制，最后应用迁移学习思想对BLSA模型进行迁移，得到用以对缺失序列进行填补的迁移模型BLSA_tr，从而实现水污染时序数据中连续缺失值的填补。该方法充分融合了Bi‑LSTM模型学习时序数据的能力以及Self‑attention机制突出重要特征的能力，同时DTW算法以及迁移学习为解决模型由于连续缺失值造成的学习不充分问题提供了可能。

技术领域

本发明属于深度学习和迁移学习技术领域，具体地说是一种水污染时序数据连续缺失值填补方法。

背景技术

目前世界各国对于水污染问题越来越重视，如何更好的保护水环境，保障用水安全，成为亟待解决的重要问题。对于水污染相关数据进行建模分析，在任何水环境系统中都具有重要意义，但是由于设备故障、日常维护、传感器设置变化、采样不足等原因，水污染数据中通常包含大量缺失数据，严重影响了相关研究的发展。因此为了确保在对水污染数据进行建模分析中能够达到更理想的效果，有必要对数据中存在的缺失值进行处理，实践证明，采用合适的方法对缺失值进行填补是更有效的缺失值处理方式。

目前常用的缺失值填补方法主要有基于统计学的填补方法和基于算法的填补方法。基于统计学的填补方法主要可以分为均值填补，中值填补或者常用值填补，这类方法简单易行，但是往往建模效果不理性，因为此类方法忽略了数据的时序和空间信息。传统机器学习方法在缺失值填补中有着独特的优势，易于建模和训练，并且能够取得不错的效果，但是这类方法很少考虑不同但相关的数据集之间的依赖关系，因此在缺失值填补中会忽略掉一些重要的影响因素，从而无法达到更优的效果。深度学习算法在实践中取得了更好的填补效果，但是目前对于时序数据缺失值填补的研究大多是针对少量非连续缺失值的填补，事实上对于非连续缺失值的填补也更加容易，但在实际生产环境中，可能面临着大量连续缺失值的情况，而当水污染数据中存在大量连续缺失值时，目前大多数方法的填补效果会受到很大影响。

发明内容

针对现有水污染时序数据缺失值填补方法中存在的不足，本发明主要解决的技术问题是针对水污染时序数据中存在的大量连续缺失值进行有效的填补。

本发明为实现上述目的所采用的技术方案是：

一种水污染时序数据连续缺失值填补方法，包括以下步骤：

1)从河流不同自动监测站分别获取河流监测数据，获取的数据中包含连续缺失值的序列称为目标序列，完整序列称为基序列；

2)对河流监测数据进行重采样，并进行归一化处理；

3)采用DTW算法计算目标序列与同一时间段其他基序列之间的相似性，得到与目标序列最相似的基序列，所述最相似的基序列为经过DTW算法计算得到的数值最小的基序列；

4)将步骤3)中得到的基序列划分成训练集和测试集，并将训练集和测试集中的数据以滑动窗口的方式构造成输入向量；

5)构建BLSA模型，并使用输入向量对其进行训练；

6)将训练好的BLSA模型进行模型迁移：冻结BLSA模型中的Bi-LSTM层，然后采用目标序列对Self-attention层进行二次训练，以对BLSA模型参数进行调整，得到迁移后的模型BLSA_tr；

7)基于BLSA_tr模型对目标序列中存在的连续缺失值进行迭代估计并填补。

所述河流监测数据，包括河流污染物浓度、河流水流量以及水温数据。

所述重采样具体为：把每天不同时刻的数据按天取平均值。