[发明专利]一种监测设备数据流评估和噪声消除方法

说明书

本发明涉及一种监测设备数据流评估和噪声消除方法。该方法：首先，输入数据，根据关联分析方法，得到所要分析的参量之间的关联性；根据不同的数据流形式和类型，采用不同的应对措施；对于相关性较强的两个序列：若两个序列同时产生突变，根据关联规则的原理认为突变量并不是错误数据，不对检测点进行处理；若其中一个序列产生突变，则认为是错误数据，对检测点进行修正；对于与其他序列相关性不强的序列：将突变量或者分离的数据认为是错误数据，对检测点进行修正。本发明实现了对监测设备数据流评估和噪声消除，便于掌握监测设备的状态，及时采取应对措施。

技术领域

本发明涉及一种监测设备数据流评估和噪声消除方法

背景技术

随着信息通信技术的不断进步，物联网、云计算等技术的飞速发展，生产生活的数字化、信息化的程度越来越高，全球的数据量大约每两年就要翻一番，不仅每天产生的数据量高速增长，数据结构也变得越来越复杂，包括各种非结构化的数据，传统的数据处理方式已经显得力不从心，“大数据时代”已经到来，成为了信息技术产业讨论的焦点。在这个背景下，流式数据的处理就显得越来越重要。数据流是一种实时的时间序列，其中的数据表达的是当前时间对象的状态，具有时效性，而随着时间的不断变化，数据的变化又具有高速型和非确定性，所以需要对数据流中到达的有限数据及时进行分析处理，预测数据流将来的变化和趋势，便于掌握对象的状态，及时采取措施。

发明内容

本发明的目的在于提供一种监测设备数据流评估和噪声消除方法，实现了对监测设备数据流评估和噪声消除，便于掌握监测设备的状态，及时采取应对措施。

为实现上述目的，本发明的技术方案是：一种监测设备数据流评估和噪声消除方法，包括如下步骤，

S1：输入数据，根据关联分析方法，得到所要分析的参量之间的关联性；根据不同的数据流形式和类型，采用不同的应对措施；

S2：相关性较强的两个序列：若两个序列同时产生突变，根据关联规则的原理认为突变量并不是错误数据，不对检测点进行处理；若其中一个序列产生突变，则认为是错误数据，对检测点进行修正；

S3：与其他序列相关性不强的序列：将突变量或者分离的数据认为是错误数据，对检测点进行修正。

在本发明一实施例中，步骤S2中的修正方法为：当检测出检测点需要修正时，先将该点的数据值计为零，然后使用后向插值法和前向插值法计算出该点的修正值，具体的：设需要清洗的序列为X，序列中的一段数据为{x_i-5,x_i-4,x_i-3,x_i-2,x_i-1,x_i,x_i+1,x_i+2,x_i+3,x_i+4,x_i+5}，其中需要修正的检测点为x_i；

(1)首先使用前向插值法求得该点的修正值：

构造前置多项式其中I_j＝{1,2,...,5}；

构造前置差值函数j＝1,2,...,5；

因此得到检测点的前向修正值为

(2)然后使用后向插值法求得该点的修正值：

构造后置多项式其中I_j＝{1,2,...,5}；

构造后置差值函数j＝1,2,...,5；

因此得到检测点的后向修正值为

(3)求得检测点的最终修正值为