[发明专利]一种基于多数据源的ETL处理方法及装置

说明书

技术领域

本发明涉及大数据处理领域，尤其涉及一种基于多数据源的ETL处理方法及装置。

背景技术

随着大数据业务的发展，对数据进行ETL(英文全称：Extract-Transform-Load，中文全称：数据仓库技术)处理非常的普遍。ETL处理的过程大致为从一个数据源中提取数据，将提取的数据转换为一个标准的格式，并加载到另外一个目标数据源的过程。目前，存在多种不同类型的数据源，例如：关系型Mysql、非关系型HBase、数据仓库有Hive、文件存储HDFS、具有存储功能的文件索引服务Elasticsearch；而不同的数据类型的数据源可能会具有不同的接口类型。

现有技术中，针对不同的接口类型的数据源技术人员需要开发不同的ETL处理工具进行ETL处理，这样不仅增加了技术开发人员的工作量，而且开发效率低。

发明内容

有鉴于此，本发明实施例提供了一种基于多数据源的ETL处理方法，解决了现有技术中，针对不同的接口类型的数据源技术人员需要开发不同的ETL处理工具进行ETL处理，不仅增加了技术开发人员的工作量，而且开发效率低的问题。

本发明实施例提供了一种基于多数据源的ETL处理方法，所述方法包括：

选取对待处理数据进行ETL处理所需的第一目标数据源和第二目标数据源；其中，所述第一目标数据源为所述待处理数据的来源端，所述第二目标数据源为将所述待处理数据进行ETL处理后进行存储的目的端；

接收用户设置的ETL处理规则；

依据所述ETL处理规则，从所述第一目标数据源中提取待处理数据，对所述待处理数据进行相应的ETL处理，得到所述待处理数据的处理结果，并将所述处理结果加载到所述第二目标数据源。

可选的，还包括：

依据数据源的类型，添加所述数据源；其中，所述第一目标数据源和第二目标数据源是从添加的所述数据源中选取的。

可选的，所述依据数据源的类型，添加所述数据源，包括：

从预设的目的地址导入所述数据源；

设置所述所述数据源的相关信息；所述相关信息包括：数据源名称、数据源类型和数据源中数据表的访问方式；

将设置的所述数据源的相关信息进行保存、以及将所述数据源依据预设的规则进行保存。

可选的，所述接收用户设置的ETL处理规则，包括：

接收用户依据预设的结构化查询语言SQL的处理标准设置的处理规则。

可选的，将所述处理结果加载到所述第二目标数据源后，还可以包括：

展示对所述待处理数据进行ETL处理的结果。

本发明实施例还提供了一种基于多数据源的ETL处理装置，其特征在于，所述装置包括：

选取单元，用于选取对待处理数据进行ETL处理所需的第一目标数据源和第二目标数据源；其中，所述第一目标数据源为所述待处理数据的来源端，所述第二目标数据源为将所述待处理数据进行ETL处理后进行存储的目的端；

接收单元，用于接收用户设置的ETL处理规则；

处理单元，用于依据所述ETL处理规则，从所述第一目标数据源中提取待处理数据，对所述待处理数据进行相应的ETL处理，得到所述待处理数据的处理结果，并将所述处理结果加载到所述第二目标数据源。

可选的，所述装置还可以包括：

添加单元，用于依据数据源的类型，添加所述数据源；其中，所述第一目标数据源和第二目标数据源是从添加的所述数据源中选取的。

可选的，所述添加单元包括：

导入子单元，用于从预设的目的地址导入所述数据源；

设置子单元，用于设置所述数据源的相关信息；所述相关信息包括：数据源名称、数据源类型和数据源的数据表的访问方式；

保存子单元，用于将设置的所述数据源的相关信息进行保存、以及将所述数据源依据预设的规则进行保存。

可选的，所述接收单元，包括：

接收子单元，用于接收用户设置的依据预设的结构化查询语言SQL的处理标准设置的处理规则。

可选的，所述装置还可以包括：

展示单元，用于展示对所述待处理数据进行ETL处理的结果。