[发明专利]支持接口适配的海量多源异构数据ETL方法及系统

说明书

本发明公开了支持接口适配的海量多源异构数据ETL方法及系统。包括：数据抽取步骤，设置数据源和目标数据库的基本信息，为不同数据源自适应地匹配相应的ETL工具，并对ETL工具进行参数设置；数据转换步骤，完成ETL作业控制执行和调度管理，对所抽取的数据进行缓冲存储和管理，并完成数据的清洗和转换等处理；数据加载步骤，将经过转换后的数据对象进行质量检查，并按照数据模型定义的表结构输出，将核查无误后的数据更新加载至目标数据库中；数据监控步骤，对ETL作业执行过程、作业资源使用情况及系统运行情况进行监控管理。自适应地匹配合适的ETL工具，并实现海量数据的抽取与转换，实现ETL作业的高效执行和有序管理。

技术领域

本发明涉及ETL管理领域，特别涉及一种支持接口适配的海量多源异构数据ETL方法及系统。

背景技术

目前行业积累了大量数据，数据的容量、种类和变化都在急剧增加，但大数据尚未充分利用，其中蕴藏的巨大价值有待挖掘。大数据往往具有多源异构特性，来自不同的、分散的业务系统，存在结构化数据、半结构化数据、非结构化数据等多种类型，难以抽取并转换成所需的数据。在大数据环境下，数据呈现出大容量、多样式、交互频繁等特征，随着采集数据的不断增加，数据处理逻辑逐渐复杂，并且面临着海量多源异构数据在不同数据库之间传输效率问题。

传统的ETL工具价格昂贵，对具体的业务依赖性很高，且为集中式架构，即设计、运行管理都集中在一台服务器上，对硬件的要求非常高。在传统ETL管理模式下，一般根据源数据库与目标数据库的属性，人工判定ETL工具，并设置ETL任务流程、设置参数、启动任务，此种人工ETL管理模式流程复杂，消耗大量的人力和时间，且无法满足海量多源异构数据的ETL作业需求。因此需要探索在大数据环境下能够更经济、更高效地执行ETL(抽取、转换、加载)操作的装置。

发明内容

本发明的目的就是为解决上述问题，提出了一种支持接口适配的海量多源异构数据ETL方法及系统，针对来自不同、分散的系统的海量多源异构数据，基于接口适配器和ETL工具引擎自适应地选择合适的ETL工具，并基于HDFS、MapReduce、Spark等大数据处理技术实现ETL作业调度管理与高效执行，以及海量复杂数据的集中存储与处理转换。

为了实现上述目的，本发明采用如下技术方案：

作为本发明的第一方面，提供了支持接口适配的海量多源异构数据ETL方法；

支持接口适配的海量多源异构数据ETL方法，包括：

数据抽取步骤，设置数据源和目标数据库的基本信息，为不同数据源自适应地匹配相应的ETL工具，并对ETL工具进行参数设置；通过数据库接口、日志文件接口或流数据接口抽取不同的数据源；

数据转换步骤，基于MapReduce及Spark计算框架完成ETL作业控制执行和调度管理，基于HDFS、Hive或HBase对所抽取的数据进行缓冲存储和管理，并完成数据的清洗和转换；

数据加载步骤，将经过转换后的数据对象进行质量检查，并按照数据模型定义的表结构输出，将核查无误后的数据更新加载至目标数据库中；

监控管理步骤，对ETL作业执行过程、作业资源使用情况及系统运行情况进行监控管理。

作为本发明的进一步改进，所述数据抽取步骤，包括：

设置数据源及目标库子步骤，设置数据源和目标数据库的基本信息，包括：数据库类型、数据源与目标数据库之间的连接类型、数据库IP、数据库名称、端口、用户名、密码；

自适应匹配ETL工具子步骤，为不同的数据源自适应的匹配对应的ETL工具。