[发明专利]一种基于Spark的智能数据转换方法

说明书

一种基于Spark的智能数据转换方法，基于分布式计算框架Spark的统一数据转换系统，所述系统包括解析器、执行器、调度器；其中解析器将通过页面勾选的同步条件、计算条件以及告警条件；通过各个解析器解析成对应的Spark代码，选择Sqoop的执行方式，将对应生成Sqoop的shell脚本，执行器通过解析器生成的Spark的代码或Sqoop脚本存储在HDFS，当任务被触发执行后，通过执行器选择相应的执行引擎执行具体脚本或代码；调度器根据调度依赖图，每一个任务可以设置依赖父任务如任务B和C，或设置触发性子任务如任务D和E，最终多个依赖关系形成用户所需整个任务依赖网；另一方可以设置任务失败策略。最终将所需执行的任务根据集群现有资源情况，调度到资源充足的节点执行任务。

技术领域

本发明涉及利用Spark分布式计算组件，实现具有高性能和高可用性的海量数据的智能转换的方法。

背景技术

随着互联网业务的发展，业务上使用的存储介质越发丰富。在业务发展过程中，不可避免使用不同数据存储。其中包括关系型数据库Mysql、Oracle、Sql Server，文档存储:MongoDB，结构化和非结构化存储：HBase、ElasticSearch以及大数据存储组件Hive、Kudu。急需要有一种方法能整合各个组件的抽取转换；另在数据抽取中，数据源种类繁多，数据来源去向缺乏管理，各个抽取任务如果仅由脚本管理，任务状态等难以管理维护，数据质量治理困难，导致数据部门承载的上游业务可能缺乏准确性。急需要有平台对数据元数据及任务元数据进行管理维护。

Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数式编程API，提供了除map和reduce之外更多的运算符，这些操作是通过一个称作弹性分布式数据集(resilient distributed datasets,RDDs)的分布式数据框架进行的。本质上，RDD是种编程抽象，代表可以跨机器进行分割的只读对象集合。

Sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。HDFS是一个分布式文件系统Had。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序。

发明内容

本发明目的是，随着业务不断发展，多源多结构数据急剧增加，及对数据质量监控、数据血缘管理、数据抽取效率提升、元数据管理等需求日趋急迫。本发明提出一种智能数据转换工具。提供数据元数据及任务元数据治理，以解决多源数据抽取统一配置管理，数据质量管理，数据血缘管理等多种大数据ETL相关问题。