[发明专利]针对海量数据的异常数据检测与处理方法

说明书

本发明公开了针对海量数据的异常数据检测与处理方法，包括步骤：S1、将海量数据分多台服务器进行分布式存储；S2、基于移动平均算法，识别海量数据中的明显异常数据；S3、基于多元多次线性回归算法，进一步识别不符合业务量趋势的异常数据。本发明可以实现海量数据的异常数据检测，异常数据的检测准确性高，检测速度快，检测精确度高，可以实现高速、精准的检测，可广泛应用于数据处理行业中。

技术领域

本发明涉及数据处理领域，特别是涉及针对海量数据的异常数据检测与处理方法。

背景技术

名词解释：

mapreduce：一种编程模型，用于大规模数据集(大于1TB)的并行运算；

广东省地方税务局的办税服务厅作为窗口单位，每天要接待大量的纳税企业、自然人等，会产生大量的业务数据，通过这些业务数据，可以汇总成历史业务量数据，历史业务量数据格式为：地市代码，办税服务厅代码，日期，渠道代码，涉税事项编码，业务数量，通过对这些业务数据的分析，可以了解一个区域内办税服务厅的办税业务特征。

这些历史业务量数据，具体三大特征：一、具有明显的业务周期性。周期性从自然日的维度上无明显表现，但是与办税截止日期，节假日等等有着相应的关联关系。而办税截止日，以及节假日(如春节、端午)，每年都不尽相同，导致业务量具有波峰波谷，但是每月的波峰与波谷都有差异。二、办税业务量数据在总数上，每月具有一定的范围性。因为自然人、企业的数量在一段时间内波动不大，所以办税业务量在一定时期内不会出现大涨大跌。但是，从长期的变化趋势来看，自然人、企业的数量具有增长性，办税业务量也有递增的趋势。三、数据大。目前全国统一的税收征管系统中有历史记录的企业，全省800多万家，自然的1.7个亿。以广东省为例，每天产生涉税事项业务量的数据近有200万条左右，一年具有5亿条。从2006年大集中到现大，数据量大的惊人。

从上述的办税业务数据的数据特征中看，对这些数据中的异常数据进行清洗，是一个非常复杂的工程。在传统异常数据处理方法中，主要包括：1、人工数据排查法。通过一些可视化工具，展示数据的图形趋势，发现相应的异常数据。借于地税数据量大，涉及到580多个涉税事项，700多个办税服务厅，近10年的数据，传统的人工数据排查法难以完成异常数据检测处理。2、均值异常数据检测方法。主要是通过均值的方法，然后设置相应的阀值，对高于均值±阀值的数据，都定义为异常数据。但是地税数据有波峰与波谷的周期性，并且波峰与波谷的发生日期不是固定，很多情况是根据节假日，纳税申报截止日期变化而变化，这种方法同样需要很多人为的操作以及调整。均值异常数据检测方法存在以下缺点：1)业务量数据跟办税截止日期有密切相关，按办税截止日期，每月会形成波峰与波谷。普通的均值的处理方法，会导致将一些波峰与波谷的数据识别为异常数据。2)业务量数据除按办税截止日期形成每月波峰与波谷外，整体上还会有年周期性(如：每年春节后二三个月业务量都分偏少，年尾业务会有比较大的增幅)，以及存在每年递增的大趋势，通过传统方法都是无法精准的识别这些数据变化。3)在大数量处理上，传统方法速度缓慢，耗时长。对于十几亿，上百亿的数据处理，采用传统集中式数据库处理，耗费时间几天或者更长时间。

发明内容

为了解决上述的技术问题，本发明的目的是提供针对海量数据的异常数据检测与处理方法。

本发明解决其技术问题所采用的技术方案是：

针对海量数据的异常数据检测与处理方法，包括步骤：

S1、将海量数据分多台服务器进行分布式存储；

S2、基于移动平均算法，识别海量数据中的明显异常数据；

S3、基于多元多次线性回归算法，进一步识别不符合业务量趋势的异常数据。

进一步，所述步骤S2，包括：

S21、构建基于税务周期的移动均值化模型，并根据各税种的纳税申报周期，对海量数据进行周期性均值处理；