[发明专利]针对海量数据的异常数据检测与处理方法

权利要求书

1.针对海量数据的异常数据检测与处理方法，其特征在于，包括步骤：

S1、将海量数据分多台服务器进行分布式存储；

S2、基于移动平均算法，识别海量数据中的明显异常数据；

S3、基于多元多次线性回归算法，进一步识别不符合业务量趋势的异常数据；

所述步骤S2，包括：

S21、构建基于税务周期的移动均值化模型，并根据各税种的纳税申报周期，对海量数据进行周期性均值处理；

S22、扫描读取海量数据的每项数据记录，并对每项数据记录进行异常检测；

所述步骤S21中所述根据各税种的纳税申报周期，对海量数据进行周期性均值处理的步骤，其具体为：

针对海量数据的每项数据记录，根据该项数据中税种的纳税申报周期，获得税种的申报截止日，再将数据记录的记录日期与税种的申报截止日相减后，得到办税截止日期的税期偏差，进而基于税期偏差，对该记录日期的前后两个月中与税种的申报截止日的税期偏差一致的数据的业务量求平均值，作为税种对应的业务量平均值；

所述步骤S3，包括步骤：

S31、构建移动多元多次线性回归检测模型，计算获得每项数据记录的每个税种的业务量的趋势均值；

S32、通过mapreduce方式，将建立的检测模型下发到多台服务器，对异常数据进行二次检测，识别出不符合业务量趋势的异常数据并进行纠正；

所述步骤S31中所述构建移动多元多次线性回归检测模型的步骤，其具体为：

根据以下方程式，构建移动多元多次线性回归检测模型：

E＝a1*(X-Z)^2+a2*(X-J)^2+b

其中，E表示趋势值，X表示日期，Z代表每月的纳税申报截止日期，J代表下一个节假日，a1、a2和b均为方程式的参数。

2.根据权利要求1所述的针对海量数据的异常数据检测与处理方法，其特征在于，所述步骤S22中所述扫描读取海量数据的每项数据记录的步骤，其具体为：

通过mapreduce方式，在多台服务器上分别启动多个进程，扫描分布式存储的海量数据，读取获得每项数据记录。

3.根据权利要求1所述的针对海量数据的异常数据检测与处理方法，其特征在于，所述步骤S22中所述对每项数据记录进行异常检测的步骤，其具体为：

针对每项数据记录，判断各项税种的业务量的值是否处于对应的均值范围内，若是，则判断数据无异常，反之，判断存在数据异常，并将该税种的业务量纠正到均值范围内；

其中，所述均值范围为P±A，其中P为该税种对应的业务量平均值，A为预设的窗口阈值。

4.根据权利要求3所述的针对海量数据的异常数据检测与处理方法，其特征在于，所述并将该税种的业务量纠正到均值范围内的步骤，其具体为：

针对业务量大于P+A的情况，将该业务量更新成P+A，反之，针对业务量小于P-A的情况，将该业务量更新成P-A。

5.根据权利要求1所述的针对海量数据的异常数据检测与处理方法，其特征在于，所述步骤S31，具体包括步骤：

S311、根据以下方程式，构建移动多元多次线性回归检测模型：

E＝a1*(X-Z)^2+a2*(X-J)^2+b

其中，E表示趋势值，X表示日期，Z代表每月的纳税申报截止日期，J代表下一个节假日，a1、a2和b均为方程式的参数；

S312、针对数据记录的每个税种，按照该税种的纳税申报周期获得税种的申报截止日，再将数据记录的记录日期与税种的申报截止日相减后，得到办税截止日期的税期偏差；

S313、基于税期偏差，将该记录日期的前后两个月中与税种的申报截止日的税期偏差一致的数据作为训练集，对步骤S311中的方程式进行参数求解，获得参数a1、a2和b的值后，通过步骤S311构建的检测模型计算获得各税种的业务量的趋势均值。