[发明专利]一种异构数据库的数据处理方法及装置

说明书

本发明提供一种异构数据库的数据处理方法及装置，所述方法包括：接收数据处理请求，所述数据处理请求包括字段信息和表信息；解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；生成至少一个数据搬运任务和一个数据处理任务；执行所述至少一个数据搬运任务；对所述目标数据库执行所述数据处理任务，获得数据处理结果。所述装置用于执行上述方法。本发明实施例提供的异构数据库的数据处理方法及装置，提高了数据处理效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种异构数据库的数据处理方法及装置。

背景技术

在企业级大数据平台中，存储着各类业务的海量数据，按照业务领域分布在多个不同类型的数据库中。

为了支撑日益复杂的交易场景，业务侧经常需要对多个异构数据库进行数据查询，获得多个异构数据库中的数据进行综合分析，但由于异构数据库具有不同的数据结构，现有技术中多个异构数据库查询，通常面临两大技术难题。第一，对于复杂业务应用的系统内部，包含多样的查询场景，既涉及关系型数据库如MySQL或Oracle，又涉及大数据产品如Hive或MPP，同时维护管理各类数据库产品增加了应用的运维难度；第二，不同的数据库产品具有不同的系统架构和数据结构，数据在异构数据库和数据库集群之间无法自如流通，对于企业用户跨数据库探索数据价值带来阻碍。

因此，如何提出一种异构数据库的数据处理方法，实现对异构数据库的统一查询成为本领域需要解决的重要课题。

发明内容

针对现有技术中的问题，本发明实施例提供一种异构数据库的数据处理方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种异构数据库的数据处理方法，包括：

接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

执行所述至少一个数据搬运任务；

对所述目标数据库执行所述数据处理任务，获得数据处理结果。

另一方面，本发明提供一种异构数据库的数据处理装置，包括：

接收模块，用于接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析模块，用于解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成模块，用于生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

第一执行模块，用于执行所述至少一个数据搬运任务；

第二执行模块，用于对所述目标数据库执行所述数据处理任务，获得数据处理结果。

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述异构数据库的数据处理方法的步骤。