[发明专利]一种观测数据中异常值的处理方法

权利要求书

1.一种观测数据中异常值的处理方法，包括如下步骤：

1)对观测样本根据大小排序后进行二分方差贡献迭代试验，依次对观测数据样本中方差贡献最大的端点数据逐个删除，并计算删除后观测样本的偏度系数及归一化状态系数，试验完成后得到样本删除试验数据；

2)针对步骤1)中得到的样本删除试验数据中的归一化状态系数进行趋势变化分析，结合删除试验数据的偏度系数，确定异常值剔除的最优控制参数；

3)采用步骤2)得到的最优控制参数，对步骤1)排序后的原观测数据样本进行异常值剔除操作，完成观测数据的处理。

2.根据权利要求1所述的观测数据中异常值的处理方法，步骤1)具体操作如下：

1.1)对原始观测数据样本D₀由小到大进行排序，得到D'₀；

1.2)计算D'₀的偏度系数θ′₀和归一化状态系数ω'₀，作为初始状态数据保存；

1.3)对D′₀进行二分方差贡献迭代试验，首先对将样本D'₀分成前后两个样本，两个样本分别为D'^front₀和D'^back₀，前后两个样本重叠至少一个数据点，分别计算D'^front₀和D'^back₀的样本方差σ'^front₀和σ'^back₀；若σ'^front₀σ'^back₀，则删除D'₀的前端端点数据，否则删除后端端点数据，同时保存数据点删除位置标志；得到删除方差贡献最大的端点后的样本删除试验数据D′₁；

1.4)计算D′₁的偏度系数θ′₁和归一化状态系数ω′₁并保存；

1.5)判断D′₁的样本中数据的个数小于3时，结束；否则将D′₁作为D′₀，返回步骤1.3)；

所述的偏度系数，采用如下公式进行计算：

其中：SD(X)为样本X的标准差，为样本均值，E为数学期望；

所述的归一化状态系数是将归一化之后的样本方差和样本偏度系数两个参数加权构造为一个状态系数，归一化状态系数按如下公式计算：

其中，为采用最小边界值归一化的方差值，为采用0中心值归一化的偏度系数，k₁、k₂为归一化方差与归一化偏度系数的权重因子；

上述的归一化状态系数计算中的归一化参数，采用如下算式计算：

其中，X_σ和X_θ分别为试验数据中的方差和偏度系数样本，max[X]和min[X]分别为样本X的最大和最小数据值。

3.根据权利要求1或2所述的观测数据中异常值的处理方法，步骤2)具体步骤如下：

2.1)对步骤1)得到的删除试验数据，以删除的样本点数量为x轴，归一化状态系数值为y轴，在笛卡尔坐标系中得到一条与样本点删除相关的归一化状态系数曲线，对曲线上的每个点判断其归一化状态系数的趋势变化类型，计算每个点趋势变化系数TVC，并将每个点的趋势变化系数TVC保存到每个点的属性中；

2.2)由步骤2.1)得到的每个点的趋势变化系数TVC数据，得到一条反映归一化状态系数曲线趋势变化的TVC曲线；在TVC曲线中寻找和选择极小值位置p_m，p_m就是从观测样本中剔除异常值的最优控制参数；

2.3)由2.2)得到的最优控制参数p_m，统计在此位置之前，观测样本前后两端分别剔除的样本点数量r_f、r_r。