[发明专利]基于快速傅里叶变换的室内空气数据异常值平滑方法

说明书

技术领域

本方法能对随时间变化的空气参数(温度，湿度，甲醛浓度，PM2.5浓度，二氧化碳浓度等)可以对数据中的异常跳变值进行去除，同时保证与人行为变化有关的数据大幅度变动被保留。本方法属于特定数据异常值平滑的领域。具体讲,涉及基于快速傅里叶变换的室内空气数据异常值平滑方法。

背景技术

在对数据异常值进行剔除并平滑的方法中，最常见的是对数据直接使用C4.5决策树进行分类判定[2]，但是该算法易将因为人行为变化导致的数据大幅度变动值和异常跳变值一并被分类成异常值；其次CD(Curve Description)法也被用于对异常值的分类[3]，此方法以相邻的数值的变化量和变化率为阈值进行判定，然而对于本专利要解决的问题而言，它和决策树法有着相似的缺陷，而且在程序实现上也比决策树法复杂；国外也使用噪声数据过滤法(Filters)识别并剔除异常值，比较典型的是Ensemble Filter(EF)[4]和Iterative-Partitioning Filter(IPF)[5]，这两种方法都比较有名，但是都比较复杂，得对其额外设置多个参数[1]，这对本技术所面对的问题是没有必要的。

发明内容

为克服现有技术的不足，本发明旨在本方法旨在将基于快速傅里叶变换的平滑数据异常跳变值算法写成一个通用性的自定义函数，方便其他可能的使用者直接调用简单的函数。本发明采用的技术方案是，基于快速傅里叶变换的室内空气数据异常值平滑方法，步骤如下：

1)将原数据曲线进行快速傅里叶变换，将时域数据转化到频域，得到原数据的离散频谱图。

2)设置提取频率的阈值，将所有的大于这个阈值的频谱曲线保留，对于小于这个阈值的频谱曲线，将其幅度清零。再将处理结束的频谱曲线反快速傅里叶变换变回时域曲线，所得的时域曲线就是想要获得的残差曲线。

3)求残差曲线的平均值和标准差。

4)遍历所有的残差数据，利用拉依达准则，挑选出所有超出限制的数据：

5)获取4中选中的数据的标号，并将对应标号中的原数据即跳变数据替换成跳变数据两端的正常数据之间的插值，达到平滑的目的。

拉依达准则说：所有超出三倍标准差范围之内的数据都被剔除,即：去掉所有的x，若x满足|x-μ|<3σ，其中x是数据点，μ是所有数据的平均值。

本发明的特点及有益效果是：

本发明利用拉依达准则，进行了数据处理，针状的高频数据跳变都被从原数据中分离了出来；将残差曲线根据拉依达准则判定，去掉了不符合判定的跳变数据，然后在原始数据曲线上用正常数据两端的插值替代已经去掉的跳变数据，即得到了经过数据异常值平滑的数据曲线。

附图说明：

图1带有数据跳变的实测甲醛随时间的变化数据曲线。

图2是对原数据曲线进行快速傅里叶变换之后的频率强度曲线。

图3是对图2曲线去掉低频成分的频率强度曲线，即残差曲线数据的频域曲线。

图4是对图3中的曲线进行反快速傅里叶变换得到的时域曲线，即残差曲线，也称噪声曲线。

图5是对图4中的残差曲线根据拉依达准则判定，去掉不符合判定的跳变数据，然后在原始数据曲线上用正常数据两端的插值替代已经去掉的跳变数据，即得到了经过数据异常值平滑的数据曲线。

图6本发明流程图。

具体实施方式

本方法旨在将将基于快速傅里叶变换的平滑数据异常跳变值算法写成一个通用性的自定义函数，方便其他可能的使用者直接调用简单的函数。

使用局部加权回归剔除并平滑室内空气数据跳变值的流程：

1.将原数据曲线进行快速傅里叶变换，将时域数据转化到频域，得到原数据的离散频谱图。

2.设置提取频率的阈值，将所有的大于这个阈值的频谱曲线保留，对于小于这个阈值的频谱曲线，将其幅度清零。再将处理结束的频谱曲线反快速傅里叶变换变回时域曲线，所得的时域曲线就是想要获得的残差曲线。

3.求残差曲线的平均值和标准差。

4.遍历所有的残差数据，利用拉依达准则，挑选出所有超出限制的数据：

拉依达准则说：所有超出三倍标准差范围之内的数据都被剔除。即：去掉所有的x，若x满足|x-μ|<3σ，其中x是数据点，μ是所有数据的平均值。因为一次性处理的数据量较大，远超过了拉依达准则的使用数据下限：100个数据。所以这里采取较为简便的拉依达准则。

5.获取4中选中的数据的标号，并将对应标号中的原数据(跳变数据)替换成跳变数据两端的正常数据之间的插值，达到平滑的目的。