[发明专利]一种电磁环境测量数据清洗方法

摘要

本发明涉及一种电磁环境测量数据清洗方法，属于电力系统电磁环境防护技术领域。该方法针对电磁环境测量中的电磁环境参数以及输电线路所处环境的气象参数组成的原始数据集，该方法依据电磁环境与气象参数的相关性，利用聚类方法对测量数据进行数据清洗。运用此方法可以实现对电磁环境测量中产生的坏数据以及环境干扰、设备故障等产生的错误数据进行识别并进行相应处理，最终形成更加有效的电磁环境测量数据。本发明可便捷、有效、可靠地进行电磁环境测量数据的数据清洗，可以为后续输变电工程电磁环境评估、优化等过程提供更好的原始数据。

主权项

一种电磁环境测量数据清洗方法，其特征在于，该方法针对电磁环境测量中的电磁环境参数以及输电线路所处环境的气象参数组成的原始数据集，具体包括以下步骤：1)将测量得到的任一种电磁环境参数与输电线路测量地点的气象参数组成原始数据集，记原始数据集行数为n、列数为m；原始数据集的每一列数据代表一种参数，记为a_j，j＝1、2、3…m；每一行数据代表同一时刻每个参数的取值，即为一个数据点，记为x_i，i＝1、2、3…n；其中a_j、x_i均为一维向量，m、n、i、j均为正整数；2)对原始数据集中每一列数据a_j进行归一化处理：记a_j的平均值为μ，标准差为σ，归一化后的列数据j＝1、2、3…m；用a_jj代替原始数据集中的每一列数据a_j，此时原始数据集中每一行数据x_i随之变化为新的数据点，记为x_ii，ii＝1、2、3…n；其中a_jj、x_ii均为一维向量，ii、jj均为正整数；3)对步骤2)中原始数据集进行归一化后得到的新的数据集进行聚类，令聚类数目得到K个子集，记为D₁,D₂,…,D_K，以及每个子集的聚类中心；其中round(x)为对x取四舍五入值；4)计算步骤3)得到的每一个子集D_i内的数据点x_ii与该子集D_i的聚类中心的距离，得到该子集内所有数据点与聚类中心的距离数据集Dis_i；5)对步骤4)得到的每个距离数据集Dis_i进行正态拟合，根据3σ准则，将3σ区间外的数据点识别为坏数据点，并用每一个子集D_i内的聚类中心代替这些坏数据点；6)令聚类数目K减少1，重新返回步骤3)；7)重复步骤3)至步骤6)5次或没有新的坏数据点出现后，完成数据清洗。