[发明专利]一种简化的大数据清洗方式

摘要

本发明公开了一种简化的大数据清洗方式，包括大数据清洗任务单元库、Spark SQL模块、Spark‑ETL SDK模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台，其特征在于，用户通过网页服务端添加需要的清洗单元与需要执行的算法任务，Spark SQL模块从网页服务端处接收需要的清洗单元以及需要执行的算法任务并实现数据清洗功能，清洗单元以及算法任务从大数据清洗任务单元库中提取，流水线配置模块实现SDK定义的接口提交到工作服务器进行有效的运行。本发明整个过程只需要编写配置大数据清洗流水线的定义文件，而无需复杂的代码编程，尤其是不需要深厚的Spark编程能力即可实现利用Spark完成大数据清洗。

主权项

一种简化的大数据清洗方式，包括大数据清洗任务单元库、Spark SQL模块、Spark‑ETLSDK模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台，其特征在于，用户通过网页服务端添加需要的清洗单元与需要执行的算法任务，Spark SQL模块从网页服务端处接收需要的清洗单元以及需要执行的算法任务并实现数据清洗功能，清洗单元以及算法任务从大数据清洗任务单元库中提取，流水线配置模块实现SDK定义的接口提交到工作服务器进行有效的运行，流水线配置模块用于为大数据清洗任务单元库、Spark SQL模块、Spark‑ETL SDK模块、流水线配置模块以及由网页客户端和网页服务端构成的网页服务平台之间的信息交互建立接口。