[发明专利]一种基于时空融合的煤矿瓦斯浓度缺失值填充方法

说明书

本发明属于数据处理领域，具体涉及一种基于时空融合的煤矿瓦斯浓度缺失值填充方法，该方法包括：对噪声数据进行识别及处理；基于时间维度对数据的缺失值进行填充；基于空间维度对数据的缺失值进行填充；将时间和空间维度的填充结果进行融合，从而得到最终结果；本发明将离线数据作为模型构建的训练集，并将生成的模型应用于生产环境中的数据，能够综合利用各种煤矿瓦斯浓度监测数据，提高模型泛化能力，降低填充误差。

技术领域

本发明属于数据处理领域，具体涉及一种基于时空融合的煤矿瓦斯浓度缺失值填充方法。

背景技术

随着科学技术的不断更新发展，信息化在各个领域越来越重要，从最初的计算机，摄像头到家用计算机，智能手机，再到大数据和人工智能，通过不断升级采集和利用数据的方式，将人与人，人与世界连接起来，构成一张繁密的网络，且数据挖掘已经广泛应用到各种领域中。在实际中，数据在录入过程可能出现“误录”和“漏录”的情况，从而导致得到的数据为含有噪声的数据或不完备的数据。不完备数据会对数据挖掘造成多种影响：完备数据减少，可获得的信息相应减少，导致结果的标准误差和置信区间均变大；一些模型不适用于含有缺失值的数据。异常数据会严重影响模型效果与统计分析，因此，在数据挖掘前需要先对数据进行处理，形成一个有效的数据集之后，才能进行最有效的分析。

目前我国各大煤矿安全态势的瓦斯监测系统多数以PC机为主体，在矿井下固定的地方安装瓦斯监测传感器，再通过很长的电缆把监测到的浓度等数据传到煤矿中心控制室。煤矿开采过程中通过安装不同规格的传感器收集到不同地区、不同矿区、不同时间的监测数据，通过对这些数据进行挖掘可以发现其潜在价值，为矿区的安全监察和灾害预警起到重要的作用；但在实际中，采集到的数据存在着噪声数据，数据缺失等问题而不能被直接使用，基于未处理的数据进行分析可能造成较大的偏差，得到错误的煤矿安全态势分析结果，严重危害人们生命及财产安全。现有的数据预处理方法大多运用统计学、机器学习和深度学习领域的相关技术，且多数缺失值填充方法仅适用于缺失率较低、数据变化平稳的情况，一旦缺失率较高，填充效果就会急剧下降，难以用一个模型去适配所有的缺失情况。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于时空融合的煤矿瓦斯浓度缺失值填充方法，该方法包括：

S1：获取煤矿瓦斯浓度数据集；

S2：采用高斯混合函数拟合数据集中的样本数据，并对噪声数据进行标记；将标记的噪声数据重置为前后时刻的煤矿瓦斯浓度均值；

S3：将标记后的样本数据从前后输入到BiLSTM模型中，从时间维度对缺失值进行填充；

S4：挖掘瓦斯传感器之间的空间关系趋势图，根据空间关系趋势图将K个最邻近传感器的相位变化率作为缺失值的变化率，根据缺失值的变化率从空间维度对缺失值进行填充；

S5：计算步骤S3和步骤S4的填充均方误差，并根据填充均方误差确定合适的权重，采用该权重加权融合时空维度的填充值作为最终的填充结果。

优选的，采用高斯混合函数拟合数据集中的样本数据以及对噪声数据进行标记的过程包括：设置阈值，将已有的噪声数据集与高斯混合函数进行拟合，得到高斯混合函数的参数值；根据高斯混合函数的参数值判断样本数据与高斯函数预测值的误差；将误差值与设置的阈值进行比较，如果误差小于给定阈值，则将数据标记为噪声数据，否则为正常数据。

进一步的，高斯混合函数的公式为：

优选的，采用BiLSTM模型对缺失值进行填充的过程为：

步骤1：将缺失值的瓦斯数据输入到前向LSTM模型中，得到前向预测结果；

步骤2：将缺失值的瓦斯数据输入到后向LSTM模型中，得到后向预测结果；