[发明专利]一种动态测量数据的处理方法和装置

说明书

本申请公开一种动态测量数据的处理方法和装置，该方法包括：从新能源云数据库获取原始数据，原始数据为动态测量过程中获取到的所有数据；对原始数据进行预处理，以得到动态测量数据；建立动态测量数据的组合模型，组合模型用于对动态测量数据进行特征分析，以得到动态量测数据的系统误差和随机误差；根据系统误差分离动态测量数据中的包含系统误差的数据；根据随机误差分离动态测量数据中的包含随机误差的数据；根据分离出的包含系统误差和随机误差的数据，从动态测量数据中得到动态测量数据的真实值。利用本申请实施例提供的方案，能够通过坏数据定位及纠错、系统性的和随机性的误差分离来实现数据清洗，得到高质量的动态测量数据。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种动态测量数据的处理方法和装置。

背景技术

目前，新能源行业数据不仅体量巨大、类型多样、构成复杂，而且更重要的是数据质量良莠不齐，数据缺失、异常、混乱、重复等现象明显，直接导致国网消纳云的数据价值密度低、数据质量待提高、数据孤岛、数据潜在价值未充分挖掘等问题突出。

然而，目前采用的“数据清洗”，是在数据引入前，去掉空值数据和不满足有效性要求的数据，仍属于数据筛选的范畴，并不是真正意义上的数据清洗，不能得到足以用于研究的高质量动态测量数据。

发明内容

本申请基于上述问题，提供一种动态测量数据的处理方法和装置，通过坏数据定位及纠错、系统性的和随机性的误差分离来实现数据清洗。

本申请一方面提供了一种动态测量数据的处理方法，该方法包括：

从新能源云数据库获取原始数据，其中，所述原始数据为动态测量过程中获取到的所有数据；

对所述原始数据进行预处理，以得到动态测量数据，其中，所述预处理至少包括如下一种：数据截断、离散化、初辨统计特性和剔点处理；

建立所述动态测量数据的组合模型，所述组合模型用于对所述动态测量数据进行特征分析，以得到所述动态量测数据的系统误差和随机误差；

根据所述组合模型输出的所述系统误差分离所述动态测量数据中的包含系统误差的数据；

根据所述组合模型输出的所述随机误差分离所述动态测量数据中的包含随机误差的数据；

根据分离出的所述包含系统误差的数据和分离出的所述包含随机误差的数据，从所述动态测量数据中得到所述动态测量数据的真实值。

优选地，对所述原始数据进行数据截断，包括：

根据预设的截取长度对所述原始数据进行截断，以得到所述动态测量数据；

其中，所述截取长度为一个或多个动态测量过程中所需要测量的最大数据长度。

优选地，对所述原始数据进行剔点处理，包括：

根据所述原始数据构造第一中位数序列；

根据所述第一中位数序列构成与所述第一中位数序列相邻的三个数据的第二中位数序列；

根据所述相邻的三个数据的第二中位数序列构建第三序列，其中，所述第三序列的构建方法通过如下公式所示：

其中，{x″′_i}为第三序列，{x″_i}为第二中位数序列；

计算所述第一中位数序列中的第一值减去所述第三序列中对应的第一值的差的绝对值，得到差值，并判断所述差值是否大于预设的阈值；

若所述差值大于预设的阈值，则从所述原始数据中剔除所述第一中位数序列中的第一值，并根据所述第一中位数序列中的第一值的相邻数据计算一个平滑的线性插值，再用所述线性插值代替所述第一中位数序列中的第一值。