[发明专利]一种数据迁移方法、系统及存储介质

说明书

本发明公开了一种数据迁移方法、系统及存储介质，其数据迁移方法应用于与多数据源和目的数据平台相连的服务器中，数据迁移方法包括所述服务器响应于迁移指令调用迁移工具创建迁移任务；所述服务器基于所述迁移任务激活对应数据源与目的数据平台之间的数据传输通道，整合多数据源中不同数据形式的数据并将其经所述数据传输通道迁移至所述目的数据平台中进行存储。本发明利用迁移工具对各种数据形式的数据迁移至目的数据平台中，不需要再编写其他代码实现垮平台的数据导入和迁移步骤，简化数据迁移和整合流程，提高效率；且通过迁移工具可自定义配置迁移流程，实现可配置化，提高实用性。

技术领域

本发明涉及数据存储与分析领域，尤其涉及一种数据迁移方法、系统及存储介质。

背景技术

数据迁移和整合是广泛利用内部数据(例如：ERP、CRM、POS、设备数据、日志)以及外部数据(行业数据、宏观经济数据、社交媒体、评论)来对现有业务做各样分析以及对未来做预测，最终以数据驱动业务，是任何组织赖以生存的必要手段。若要将有价值的数据分析结果呈现在组织内各层级管理人员的手机终端中，需要先从各个源头抽取数据，将数据加载至数据湖中才可按分析需求对数据湖中的数据进行分析处理；但由于数据的来源不同，在数据抽取环节中有可能导入不同格式的数据，使得数据迁移和整合过程中需要对混合在一起的不同格式的数据进行统一的格式转换才可把数据按照分析需求存储在数据仓库或数据集市中，导致数据集成的复杂度大大提高，无法提高数据迁移和整合的效率。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种数据迁移方法，可整合各种数据形式的数据到数据平台中，减少数据处理步骤，提高数据迁移和整合效率。

本发明的目的之二在于提供一种执行上述数据迁移方法的数据迁移系统。

本发明的目的之三在于提供一种存储介质。

本发明的目的之一采用如下技术方案实现：

一种数据迁移方法，应用于与多数据源和目的数据平台相连的服务器中，数据迁移方法包括：

所述服务器响应于迁移指令调用迁移工具创建迁移任务；

所述服务器基于所述迁移任务激活对应数据源与目的数据平台之间的数据传输通道，整合多数据源中不同数据形式的数据并将其经所述数据传输通道迁移至所述目的数据平台中进行存储。

进一步地，所述数据源包括文件数据源和数据库数据源。

进一步地，激活所述数据传输通道后，还包括：

检测所述数据传输通道的网络连接状态，并将检测结果进行反馈。

进一步地，检测所述数据传输通道的网络连接状态的方法包括：

获取各数据源所对应的物理主机地址，根据主机地址查看各数据源的防火墙信息，并对防火墙信息进行反馈以对防火墙端口进行配置。

进一步地，检测所述数据传输通道的网络连接状态的方法包括：

获取所述目的数据平台的网络地址，根据网络地址确定联网模式；

结合联网模式向所述目的数据平台传出数据包以计算数据传输速度，并对数据传输速度进行反馈以判断网络连接是否出现异常。

进一步地，所述迁移任务的创建方法包括：

运行所述迁移工具，利用所述迁移工具配置数据迁移流程以生成所述迁移任务；所述数据迁移流程至少包括数据输入节点和数据输出节点。

进一步地，所述迁移任务的创建方法还包括：

利用所述迁移工具配置迁移执行周期，以使各数据源的数据文件按已配置的迁移执行周期进行数据迁移。