[发明专利]一种观测实验数据异常值的实时剔除方法

说明书

本发明提供一种观测实验数据异常值的实时剔除方法，包括：对某一变量集X已有的实验数据进行统计，确定异常值门限；根据异常值门限按给定的工程用数学模型实时检测剔除实验数据异常值。本发明通过对连续变化的待观测变量的历史实验数据进行统计，确定异常值门限，再由动态处理数学模型对实验系统观测的当前实验数据进行实时动态判断，可判断其中的异常值并将异常值剔除，有助于更真实的评估、预测或还原真实的待观测变量。本发明提供的方法不受使用条件限制，适用范围更广，提供了一种有效的观测实验数据中异常值的动态处理方法。

技术领域

本发明属于实验数据分析技术领域，涉及一种观测实验数据异常值的实时剔除方法，特别是涉及一种针对具有连续变化特性的观测实验数据中异常值的实时剔除方法。

背景技术

现有实验数据异常值处理方法多为静态处理法，如《试验数据的统计分析》(中国人民解放军总装备部军事训练教材编辑工作委员会2001年1月国防工业出版社ISBN 7-118-02370-1 P67～P77)中使用极值偏差法、极差比法等方法进行异常值(或称野值、野点)处理，通过对属于同一变量集的一组实验数据进行排序，判断该组实验数据中较大或较小的数据是否明显偏离其他实验数据。利用这些静态方法进行异常值处理时，首先要求变量集为某一固定不变量，通过对该不变量的多次观测得到一组实验数据，然后进行异常值判断及处理；若变量集为变化的时间序列，则静态处理方法不能对其中的异常值进行有效判断；此外，利用静态处理方法进行异常值处理时被判断的实验数据往往不是实验系统当前的观测值，缺乏实时性。

各别出版物提出了动态异常值处理方法，如《最优估计及其应用》(贾沛璋、朱征桃科学出版社1984年12月统一书号：15031.609 P280～P312)中利用卡尔曼滤波中预报残差统计量对观测量进行实时判别的异常值处理方法，该方法为动态处理法，可以进行观测实验数据的实时剔除，但只能在卡尔曼滤波数学模型中使用，其使用范围受到严格限制。

本发明主要解决观测实验数据中异常值的检测与剔除问题，针对具有连续变化特性的任意待观测数据，采用本方法后，可以现场实时检测并剔除，有效避免了实验异常值对观测结果的干扰，使引用此观测数据进行参数估计的结果更真实、更准确。

需要说明，对于不变量的观测实验数据异常值实时剔除，本发明方法同样适用，但对非连续变化(如阶跃变化)的观测实验数据异常值实时剔除，本发明方法不适用。

发明内容

本发明的目的在于提供一种观测实验数据中异常值的实时剔除方法，解决静态处理方法不能实时判断实验数据的问题以及目前已知的实时剔除方法存在的使用限制的问题。

本发明的技术方案包含以下步骤：

一种观测实验数据异常值的实时剔除方法，包括以下步骤：

步骤一：对某一变量集X已有的实验数据(即历史实验数据)进行统计，确定异常值门限。方法如下：

1)以{x_ii＝1，2，......k}表示在以往实验中得到的对应变量集X的实验数据，可视为一个时间序列，以Y_i：

Y_i＝|x_i+1-x_i| (1)

表示序列{x_i}前后两点差的绝对值，再按从小到大的顺序排列，即

Y(1)≤Y(2)≤...≤Y(m)≤...≤Y(k-1) (2)

2)确定异常值检出水平σ，根据实验系统的需求，σ可取1‰～10‰范围内的某个值，σ越小，对应变量集X实验数据中异常值的检出水平越低，反之则检出水平越高。对于一般的系统可取异常值检出水平为3‰。

3)计算异常值门限的排序，公式为：