[发明专利]一种数据库分表数据的抽取方法、装置及系统

权利要求书

1.一种数据库分表数据的抽取方法，其特征在于，包括：

数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据；

所述DataX平台将所述数据库分表数据传输至hive中；

所述hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述数据调度系统接收应用程序发送的数据请求指令及目标数据属性；

所述数据调度系统依据所述数据请求指令调用所述DataX平台。

3.根据权利要求2所述的方法，其特征在于，还包括：

所述数据调度系统发送所述目标数据属性至所述DataX平台。

4.根据权利要求3所述的方法，其特征在于，所述DataX平台抽取多个数据库分表中目标分表数据，包括：

依据所述目标数据属性遍历多个数据库中的分表，获取各个分表中所述目标数据属性对应的目标数据；

将所有的所述目标数据进行格式统一性处理，得到所述目标分表数据；

将所述目标分表数据存入所述DataX平台内的关系数据库。

5.根据权利要求1所述的方法，其特征在于，所述将所述映射数据表写入Kafka平台，包括：

所述hive通过Kafka Connect将所述映射数据表写入所述Kafka平台中的类别数据项中。

6.一种数据库分表数据的抽取装置，其特征在于，包括：

数据抽取模块，用于数据调度系统调用预设的DataX平台，利用所述DataX平台抽取多个数据库分表中目标分表数据；

数据传输模块，用于所述DataX平台将所述数据库分表数据传输至hive中；

数据存入模块，用于所述hive结合所述数据库分表数据得到映射数据表，并将所述映射数据表写入Kafka平台，以供应用程序在所述Kafka平台中获取所需数据。

7.根据权利要求6所述的装置，其特征在于，还包括：

数据请求指令接收模块，用于所述数据调度系统接收应用程序发送的数据请求指令及目标数据属性；

调用启动模块，用于所述数据调度系统依据所述数据请求指令调用所述DataX平台。

8.一种数据库分表数据的抽取系统，其特征在于，包括：

数据调度系统、与所述数据调度系统通信连接的DataX平台、与所述DataX平台通信连接的hive和与所述hive通信连接的Kafka平台。

9.根据权利要求8所述的系统，其特征在于，还包括：

与所述DataX平台通信连接的多个数据库。

10.根据权利要求8所述的系统，其特征在于，还包括：

分别与所述数据调度系统、所述Kafka平台通信连接的应用程序。