[发明专利]一种观测数据中异常值的处理方法

说明书

本发明公开了一种观测数据中异常值的处理方法，包括如下步骤：1）对观测样本根据大小排序后进行二分方差贡献迭代试验，依次对观测数据样本中方差贡献最大的端点数据逐个删除，计算删除后观测样本的偏度系数及归一化状态系数，试验完成后得到样本删除试验数据；2）针对步骤1）中得到的样本删除试验数据中的归一化状态系数进行趋势变化分析，结合删除试验数据的偏度系数，确定异常值剔除的最优控制参数；3）采用步骤2）得到的最优控制参数，对步骤1）排序后的原观测数据样本进行异常值剔除操作，完成观测数据的处理。本发明操作简单、适用性好，能够提高观测数据的可靠性和可信度，且计算相对简单，处理效率高。

技术领域

本发明具体涉及一种对测量观测数据中异常值的处理方法。

背景技术

测量是人类对事物进行研究的一种基本和必须的实验手段与方法，不仅可直接通过测量数据发现事物的内在规律，也可通过测量验证提出的方法理论的正确性和适用性。测量时，由于仪器、观测条件、环境等因素的限制，不可能无限精确，物理量的观测值与真实值之间总会存在着一定测量误差(或称观测误差)，一般认为任何测量都有误差，误差可以减小但不能消除。观测误差主要来源有三个方面：测量仪器、测量条件和测量人，按性质误差可分为随机误差(random error)、系统误差(systematic error)和粗大误差(parasiticerror，gross error)。

在测量中，由于某些客观或主观原因，造成某些观测样本值的大小明显偏离真实值很远(过大或过小)，这些观测样本值中包含粗大误差，通常称之为异常值或“飞点”(Outlier)。对某一物理量作多次独立等精度的重复观测，如果其中部分观测值为异常值，在观测后采用如采用最小二乘法等非稳健的方法估计观测测量结果，观测异常值会导致测量结果明显偏离真实值，将可能导致不准确甚至错误的测量结论。测量观测数据中异常值的处理，就是测量中粗大误差的处理。

现代测量平差理论中，考虑粗大误差产生的原因和影响，在数据处理时可将其归为函数模型或随机模型。函数模型情况下，粗大误差表现为观测误差绝对值较大且偏离群体，可解释为均值漂移模型，处理的思想是在使用前找到并剔除含粗差的观测值，得到一组比较净化的观测值，再进行参数(如均值)估计得到测量结果。随机模型情况下，粗大误差表现为先验随机模型和实际随机模型的差异过大，可解释为方差膨胀模型，处理的思想是根据逐次迭代平差的结果来不断地改变观测值的权或方差，最终使包含粗大误差的观测值的权趋于零或方差趋于无穷大，使得所估计的参数(如均值)少受模型误差，特别是粗大误差的影响。

函数模型情况下，传统的粗大误差处理方法较为较多，一般为，先假设观测数据样本符合某种概率分布(如正态分布)，再基于分布模型对观测数据样本值进行判断，具体为利用各种准则，如3σ准则、拉伊达准则、格拉布斯准则等，对不符合先验概率分布模型的观测样本点予以剔除，最终得到一个较为可信的观测数据样本，再进行参数估计得到测量结果。随机模型情况下，一般采用统计参数稳健估计方法，如M估计、L估计及R估计等，估计观测数据样本的参数，方法以迭代方式降低方差较大数据元素的权重，尽可能减小粗差的影响，最终得出正常模式下最佳或接近最佳的估计结果。

在实际运用中，如地球物理勘探电场测量观测，由于各种噪声干扰的影响，观测数据存在测量样本较小(低频段)，粗大误差较大(强干扰)，粗大误差较多(持续干扰)，或以上条件叠加出现等情况。采用函数模型处理方法，不易确定能准确描述观测数据的理想概率分布模型(实际观测数据往往不完全服从正态分布)，应用准则时易出现过度剔除或方法无效等情况。采用随机模型处理方法，也难以快速而准确地收敛，存在计算效率低，估计结果受误差影响大的情况。也就是说，传统的函数模型和随机模型处理方法在观测数据质量较差的情况下，存在方法适应性不好，功能和性能受限的情况。

发明内容

为了解决上述技术问题，本发明提供一种操作简单、适用性好，能够提高观测数据的可靠性和可信度，且计算相对简单，处理效率高的观测数据中异常值的处理方法。

本发明采用的技术方案是：一种观测数据中异常值的处理方法，包括如下步骤：