[发明专利]数据的处理方法及装置、计算机可读存储介质、处理器

说明书

本发明公开了一种数据的处理方法及装置、计算机可读存储介质、处理器。其中，该方法包括：获取第一数据库和第二数据库的同步任务，其中，同步任务用于将第一数据库的目标数据同步至第二数据库；根据同步任务进行数据配置，得到配置信息,其中，配置信息用于确定同步任务的执行策略；根据配置信息从第一数据库获取目标数据；将目标数据存储于中间存储介质，并将目标数据从中间存储介质同步至第二数据库。本发明解决了现有技术中不同数据库之间数据交互速率较低的技术问题。

技术领域

本发明涉及数据库技术领域，具体而言，涉及一种数据的处理方法及装置、计算机可读存储介质、处理器。

背景技术

相关技术中，关系数据库和数据仓库交互主要采用sqoop技术，对应日常业务应用中海量的数据交互需求，sqoop技术需要先按照业务要求进行分库分表，将数据拆分到不同分库，该方法实现过程复杂，配置难度大，导致不同数据库之间数据交互难度成倍增加，数据库之间的数据传输速度比较慢。

针对上述现有技术中不同数据库之间数据交互速率较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据的处理方法及装置、计算机可读存储介质、处理器，以至少解决现有技术中不同数据库之间数据交互速率较低的技术问题。

根据本发明实施例的一个方面，提供了一种数据的处理方法，包括：获取第一数据库和第二数据库的同步任务，其中，同步任务用于将第一数据库的目标数据同步至第二数据库；根据同步任务进行数据配置，得到配置信息,其中，配置信息用于确定同步任务的执行策略；根据配置信息从第一数据库获取目标数据；将目标数据存储于中间存储介质，并将目标数据从中间存储介质同步至第二数据库。

进一步地，配置信息包括元数据表，根据同步任务进行数据配置，得到配置信息，包括：获取同步任务中的数据源信息和分库信息；根据数据源信息和分库信息进行数据配置，得到元数据表。

进一步地，配置信息包括映射表，根据同步任务进行数据配置，得到配置信息，包括：获取同步任务的分步信息和数据源信息，其中，分步信息包含对目标数据处理的子任务；根据分步信息和数据源信息进行数据配置，得到映射表。

进一步地，数据源信息包括第一数据库至第二数据库的同步方向、字段信息和目标数据的获取方式；分步信息包含如下任意一项或者几项：目标数据的清理步骤、以及创建索引步骤、以及目标表重命名或者重建步骤。

进一步地，在将目标数据从中间存储介质同步至第二数据库之后，上述方法还包括：判断子任务是否执行成功；在子任务全部执行成功的情况下，确定同步任务执行成功；在任意一个子任务执行失败的情况下，从失败的子任务开始继续执行同步任务的子任务。

进一步地，配置信息包括任务注册表，根据同步任务进行数据配置，得到配置信息，包括：将同步任务注册到任务注册表中。

进一步地，将目标数据存储于中间存储介质，包括：将目标数据的格式进行清洗转换，得到目标数据文件；将目标数据文件存储于中间存储介质。

根据本发明实施例的另一方面，还提供了一种数据的处理装置，包括：任务获取模块，用于获取第一数据库和第二数据库的同步任务，其中，同步任务用于将第一数据库的目标数据同步至第二数据库；配置模块，用于根据同步任务进行数据配置，得到配置信息；数据获取模块，用于根据配置信息从第一数据库获取目标数据；同步模块，用于将目标数据存储于中间存储介质，并将目标数据从中间存储介质同步至第二数据库。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，包括：计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项数据的处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，包括：处理器用于运行程序，其中，程序运行时执行权利要求上述任意一项数据的处理方法。