[发明专利]多数据源的数据转存方法、系统、终端设备及存储介质

说明书

本发明公开了一种多数据源的数据转存方法、系统、终端设备及存储介质，属于数据存储技术领域。多数据源的数据转存方法包括：从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；根据所述数据转存配置信息，生成数据转存任务；根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。本发明通过客户端发送数据转存配置信息到服务器，服务器执行数据转存任务，实现对不同类型的数据库的数据提供多种方式的转存，降低了转存操作的门槛，提高了复杂转存的执行效率和可靠性，为项目的实践者和管理者提供了高效、可靠、方便的数据转存整体解决方案。

技术领域

本发明涉及数据存储技术领域，尤其涉及多数据源的数据转存方法、系统、终端设备及存储介质。

背景技术

随着互联网的发展，软件系统的规模愈加庞大，系统之间的交互，软硬件之间的数据对接变得愈发频繁。微服务化是解决系统规模庞大的主要方法之一，在这个过程中各服务间会存在大量的数据转存。

现有的做法之一是通过数据库管理工具提供数据导入导出功能，方便将不同数据库的数据以各种形式进行转存拷贝，此种办法仅能解决较为简单的转存场景问题，但需要数据开发人员手动操作，导致了时间长、易出错、效率低、缺少容错机制的问题。为解决人工转存的问题，提出另一种做法，通过自主开发转存服务进行转存，克服了人工转存的困难并解决现有不同类型数据库中的数据迁移频发、数据规格变更频繁、转存过程冗长的问题，但是需要一定的开发成本和资源成本。

因此，如何将不同类型数据库的数据，高效、可靠、方便地转存也成为了软件项目开发过程中亟待解决的一个问题。

发明内容

本申请的主要目的在于提供一种多数据源的数据转存方法、系统、终端设备及存储介质，旨在解决将不同类型数据库，高效、可靠、方便的转存的问题。

本申请实施例一种多数据源的数据转存方法，所述多数据源的数据转存方法包括：

从客户端获取数据转存配置信息，所述数据转存配置信息包括源数据库和目标数据库相关信息；

根据所述数据转存配置信息，生成数据转存任务；

根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库。

可选的，所述根据所述数据转存配置信息，生成数据转存任务的步骤包括：

通过任务生成器根据所述数据转存配置信息，配置数据转存任务，得到任务元数据；

通过任务生成器建立任务资源池；

通过任务生成器将所述任务元数据添加到所述任务资源池；

通过任务生成器向任务执行器下发数据转存任务；

通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务。

可选的，所述根据所述数据转存任务，执行转存操作，将所述源数据库中的数据转存到所述目标数据库的步骤包括：

根据所述数据转存任务，从所述任务元数据获取预先设定的数据配置详情；

根据所述数据配置详情，通过拆解拷贝、合并拷贝、直接拷贝中一种或多种方式从所述源数据库中获取源数据；

若所述目标数据库与源数据库类型不同，将获取的源数据处理为符合转存目标数据库类型的目标数据；

将所述目标数据存储到预先设定的目标数据库中。

可选的，所述通过所述任务执行器获取所述任务资源池中的任务元数据，并根据获取的任务元数据生成数据转存任务之后的步骤包括：

监控所述数据转存任务的执行状态；