[发明专利]数据采集交换引擎

权利要求书

1.一种数据采集交换引擎，其特征在于，用于异构数据环境之间的数据转移交换，包括：控制中心(1)、与所述控制中心(1)关联的通讯与协调模块(2)，以及与所述通讯与协调模块(2)关联的若干个执行器(3)；

每一个执行器(3)中设有至少一种数据交换工具；

所述控制中心(1)用于提供可视化界面供用户填写数据采集交换的配置参数，并根据预设的编译规则自动将用户填写的配置参数编译成配置程序，再依据配置程序选定数据交换工具以及安装有该数据交换工具的执行器(3)；所述配置参数至少包括：来源数据模型、以及目标数据模型；

所述通讯与协调模块(2)用于控制中心(1)与执行器(3)之间的分布式通讯与协调，从控制中心(1)接收配置程序，将配置程序中的配置参数和需要执行的任务发送到选定的执行器(3)；

所述执行器(3)用于从通讯与协调模块(2)接收根据配置程序得到的配置参数和需要执行的任务，并将配置参数编译成选定的数据交换工具能够识别的执行程序，利用该执行程序驱动选定的数据交换工具进行数据采集交换，将来源数据模型中数据的采集交换到目标数据模型中。

2.如权利要求1所述的数据采集交换引擎，其特征在于，所述数据交换工具包括：DataX、Sqoop、Embulk、以及Flume。

3.如权利要求1所述的数据采集交换引擎，其特征在于，所述数据交换工具还包括：用户按照所述数据采集交换引擎预设的接口标准自定义的数据交换工具。

4.如权利要求1所述的数据采集交换引擎，其特征在于，所述来源数据模型以及目标数据模型为数据库表、文件或消息流。

5.如权利要求4所述的数据采集交换引擎，其特征在于，所述来源数据模型以及目标数据模型中有一个为数据库表时，所述配置参数还包括字段映射规则。

6.如权利要求4所述的数据采集交换引擎，其特征在于，所述数据库表的存储介质包括：oracle数据库、mysql数据库、db2数据库、redis数据库、mongodb数据库、hive大数据平台、hbase大数据平台、以及elasticsearch大数据平台；

所述文件的文件系统或文件传输协议包括：FTP传输协议、SFTP传输协议、以及HDFS分布式文件系统；

所述消息流消息中间件包括：kafka消息中间件、以及Apache ActiveMQ消息中间件。

7.如权利要求1所述的数据采集交换引擎，其特征在于，所述控制中心(1)依据配置程序选定数据交换工具以及安装有该数据交换工具的执行器(3)时首先根据配置程序识别交换任务的类型，然后匹配支持该类型交换任务的数据交换工具，接着根据该交换任务的能力要求和是否有可供使用的执行器(3)选定一种数据交换工具以及安装有该数据交换工具的执行器(3)。

8.如权利要求2所述的数据采集交换引擎，其特征在于，当所述选定的数据交换工具为Sqoop时，所述执行器(3)将配置程序编译为Sqoop命令，并提交Shell脚本在服务器执行，从而驱动Sqoop进行数据采集交换；

当所述选定的数据交换工具为DataX时，所述执行器(3)将配置程序编译为datax Json配置文件，将文件保存在临时目录，用python命令启动，传入配置文件路径驱动DataX进行数据采集交换；

当所述选定的数据交换工具为Flume时，所述执行器(3)将配置程序编译为flume conf配置文件，将文件保存在临时目录，判断对应的flume-ng是否启动，如启动则驱动Flume进行数据采集交换，如未启动，则组装shell命令启动flume-ng驱动Flume进行数据采集交换；

当所述选定的数据交换工具为Embulk时，所述执行器(3)将配置程序编译为Embulk配置文件，将文件保存在临时目录，用shell命令启动，传入配置文件路径驱动Embulk进行数据采集交换。

9.如权利要求1所述的数据采集交换引擎，其特征在于，所述执行器(3)还实时监控执行过程并输出执行日志。

10.如权利要求1所述的数据采集交换引擎，其特征在于，所述通讯与协调模块(2)为Zookeeper。