[发明专利]一种面向大数据的ETL方法和装置

权利要求书

1.一种面向大数据的ETL方法，其特征在于，包括：

获取同步作业的参数配置模板；

根据参数配置模板,对同步作业进行作业参数配置；

根据作业参数配置，通过ETL方法对待同步数据进行同步与清洗

所述对同步作业进行作业参数配置为：通过一个或多个能写入参数的配置模板，对待同步数据进行参数配置；

所述对待同步数据进行同步包括：对FTP服务器与大数据平台之间进行数据同步，传统数据库与大数据平台之间进行数据同步，大数据平台内部之间的数据进行同步。

2.如权利要求1所述的方法，其特征在于，所述参数至少包括：参数名、输入路径、输出路径、数据字段范围、数据类型中的一种或多种。

3.如权利要求1或2所述的方法，其特征在于，所述待同步数据包括：FTP服务器、大数据平台、传统数据库中的一个或多个。

4.如权利要求3所述的方法，其特征在于，所述对待同步数据进行同步之前还包括：对同步的数据匹配和过滤，并对匹配和过滤后的数据处理和合并。

5.一种面向大数据的ETL装置，其特征在于，包括：

配置文件获取模块，用于获取同步作业的参数配置模板；

参数配置模块，用于根据参数配置模板,对同步作业进行作业参数配置；

数据同步模块，用于根据作业参数配置，通过ETL方法对待同步数据进行同步；

所述对待同步数据进行同步包括：对FTP服务器与大数据平台之间进行数据同步，传统数据库与大数据平台之间进行数据同步，大数据平台内部之间的数据进行同步。

6.如权利要求5所述的装置，其特征在于，所述作业参数配置至少包括：配置数据的输入路径、输出路径、数据字段范围、数据类型中的一种或多种。

7.如权利要求6所述的装置，其特征在于，该装置还包括：

清洗与转换模块，用于在数据同步之前对同步的数据匹配和过滤，并对匹配和过滤后的数据处理和合并。