[发明专利]一种异构数据库的数据处理方法及装置

权利要求书

1.一种异构数据库的数据处理方法，其特征在于，包括：

接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

执行所述至少一个数据搬运任务；

对所述目标数据库执行所述数据处理任务，获得数据处理结果。

2.根据权利要求1所述的方法，其特征在于，所述执行所述至少一个数据搬运任务包括：

根据所述源数据库的表结构信息在所述源数据库创建临时表并抽取所述字段信息对应数据到所述临时表中；

将所述临时表中的字段信息对应的数据拷贝到中转目录并转化为所述目标数据库识别的数据；

根据所述源数据库的表结构信息在所述目标数据库创建目标表，并从所述中转目录将转化后的所述字段信息对应的数据拷贝到所述目标表中。

3.根据权利要求2所述的方法，其特征在于，所述将所述临时表中的字段信息对应的数据拷贝到中转目录包括：

若判断获知所述字段信息对应的数据的大小大于预设值，则将所述字段信息对应数据切分为多个小于等于所述预设值的分片数据；

将所述多个分片数据拷贝到所述中转目录。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述目标数据库执行所述数据处理任务包括：

根据所述字段信息在所述目标数据库更新所述字段信息对应的数据；

将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。

5.一种异构数据库的数据处理装置，其特征在于，包括：

接收模块，用于接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析模块，用于解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成模块，用于生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

第一执行模块，用于执行所述至少一个数据搬运任务；

第二执行模块，用于对所述目标数据库执行所述数据处理任务，获得数据处理结果。

6.根据权利要求5所述的装置，其特征在于，所述第一执行模块包括：

第一创建单元，用于根据所述源数据库的表结构信息在所述源数据库创建临时表并抽取所述字段信息对应数据到所述临时表中；

转化单元，用于将所述临时表中的字段信息对应的数据拷贝到中转目录并转化为所述目标数据库识别的数据；

第二创建单元，用于根据所述源数据库的表结构信息在所述目标数据库创建目标表，并从所述中转目录将转化后的所述字段信息对应的数据拷贝到所述目标表中。

7.根据权利要求6所述的装置，其特征在于，所述转化单元包括：

切分子单元，用于在判断获知所述字段信息对应的数据的大小大于预设值之后，将所述字段信息对应数据切分为多个小于等于所述预设值的分片数据；

拷贝子单元，用于将所述多个分片数据拷贝到所述中转目录。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述第二执行模块包括：

更新单元，用于根据所述字段信息在所述目标数据库更新所述字段信息对应的数据；

同步单元，用于将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。