[发明专利]一种互联网大数据清洗方法

说明书

本发明涉及数据清洗技术领域，涉及一种互联网大数据清洗方法，具体步骤如下：S1、利用数据采集模块提取出所需数据；S2、利用爬虫同步模块把oss中的文件同步下来；S3、利用数据清洗模块将处理后的数据打包插入KAFKA模块的kafaka队列中；S4、利用KAFKA模块，运用选举算法将数据合理分配到服务器队列中，通过网络传输数据库模块中；S5、利用数据库模块监测KAFKA模块传输过来的数据，并利用filer‑chainshain扩展监控统计。本发明通过数据清洗模块有效地将数据重新分类整合清洗至各个规范化数据库模块中，提高了数据清洗的准确度，解决了现有技术大数据因数据丢失而造成筛选清洗效率低下的缺陷，达到快速准确筛选清洗数据的目的。

技术领域

本发明涉及数据清洗技术领域，更具体地说，涉及一种互联网大数据清洗方法。

背景技术

在信息大数据时代，数据的收集与处理已成为当前信息企业急需解决的问题。目前，我们通过采集系统采集到的原生数据，我们也称为不规整数据，即目前来说，该数据混杂大量无用、错乱、无序、重复的数据，并且该数据的格式还无法满足我们对数据处理的基本要求，十分不利于后期的修改，数据准确性低下。针对上述情况需要对其进行预处理，转化为我们后面工作所需要的较为规整的数据，所以这里的数据清洗，其实指的就是对数据进行基本的预处理，以方便我们后面的统计分析，需要根据不同的业务需求来进行取舍，在我们的场景中需要对数据进行迁移、压缩、清洗、打散、分片、分块以及其他多种转换处理。现有的数据清洗一般只是通过大数据分析算法将大数据筛选得到目标数据，这种方式运用于数据采集前，分析筛选过程简单易操作，但是，这种方式在分析过程，由于只是针对前期筛选后再将大数据采集，从而容易造成目标数据的丢失，减少目标数据的筛选量，使得最终得到的目标数据远远少于数据数量，并且还可能会造成相关或相邻的目标数据丢失，给用户下一步数据的采集造成操作困难，从而导致该方式的数据清洗效率低下。

发明内容

有鉴于此，本发明提供了一种互联网大数据清洗方法，以解决现有技术大数据因数据丢失而造成筛选清洗效率低下的缺陷。

一种互联网大数据清洗方法，包括以下步骤：

S1、利用数据采集模块，通过http协议登录目标服务器，使用正则表达式，xpath表达式以及jsonpath表达式提取出所需数据；

S2、利用爬虫同步模块，通过checksum算法、传输同步算法以及比对算法把oss中的文件同步下来；

S3、利用数据清洗模块，通过均值填补法、热卡填补法以及回归填补法对数据进行处理，将处理后的数据打包插入KAFKA模块的kafaka队列中；

S4、利用KAFKA模块，运用选举算法将数据合理分配到服务器队列中，通过网络传输数据库模块中；

S5、利用数据库模块，通过wallFilter监测KAFKA模块传输过来的数据有没有sql注入攻击、过滤以及保存，并利用filer-chainshain扩展监控统计。

作为本发明的优选方案，该步骤S3包括以下步骤：

S31、通过分布式数据采集器，并根据具体任务配置,主动从数据库或文件获取元数据。或者由API被动接收元数据；

S32、通过分布式数据采集器，并根据具体任务配置,将签名秘钥，获取到的元数据，以及包含元数据与目标数据字段对应关系、类型对应关系等信息的任务配置，封装成一个分布式数据处理器程序可识别的任务对象，通过分布式数据处理器的分布式任务调度系统，分发给具体的机器及工作进程去执行清洗工作；

S33、通过分布式数据处理器，接收任务，对任务对象进行解析，首先验证签名秘钥是否合法，如果不合法则抛弃任务并记录日志，如果合法则进入下一步骤S34；