[发明专利]云平台数据集成管理系统和方法

说明书

本发明公开了一种云平台数据集成管理系统和方法，其中，云平台数据集成管理系统，包括基础层和应用层，所述基础层为应用层提供应用支撑；所述基础层，包括元数据管理模块和系统管理模块，所述应用层，包括数据流管理模块、云资源管理模块、计划管理模块、监控台、文件生成器和智能执行引擎。实现高效率、低成本且实施难度低的优点。

技术领域

本发明涉及数据处理领域，尤其涉及云平台数据集成管理系统和方法。

背景技术

随着大数据时代的来临，企业的数据量越来越大，时效性要求越来越高。现有的ETL性能上越来越难满足企业的要求，导致数据延时以及数据不全，影响企业决策分析以及跨部门的协作，成为企业未来发展的瓶颈。现阶段企业需要拥有一套成熟、高效、稳定且灵活的ETL工具来协助企业搬运数据，实现数据即时共享，支撑企业基于大数据的决策分析。

目前大部分企业都已开展了提升ETL效率的项目。其中解决方案如下：

1)沿用原有的软件，重新购置更高性能的机器，满足现有的需求。

2)并行执行ETL任务，同时打开多台机器，按经验设置ETL任务的执行时间安排执行计划。

3)将巨大数据的库表进行分区，并对每个分区安排执行任务，并发对数据进行数据迁移。

上述解决方案存在以下缺陷：

1、成本高：重新购置机器，成本高，专业ETL技术人员成本高。

2、效率低：虽然能实现并行，但并不能完全利用每台机器的性能。

3、实施难度大：对实施人员技术要求较高，需要有专业的ETL技术和经验，大大增加用人成本与人员的依赖，增大人员流动导致的项目风险。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种云平台数据集成管理系统和方法，从而实现高效率、低成本且实施难度低的优点。

本发明的目的采用以下技术方案实现：

一种云平台数据集成管理系统，包括基础层和应用层，所述基础层为应用层提供应用支撑；

所述基础层，包括元数据管理模块和系统管理模块，

所述元数据管理模块：管理数据源和目标数据库的数据，

所述系统管理模块：管理集成管理系统的基础信息；

所述应用层，包括数据流管理模块、云资源管理模块、计划管理模块、监控台、文件生成器和智能执行引擎，

所述数据流管理模块：对来自数据源的数据流进行执行文件配置和执行模板管理；

所述文件生成器：通过执行文件配置与执行模板结合，批量生成数据抽取执行文件；

所述云资源管理模块：管理云服务器集群中所有的服务器资源，并通过智能策略配置对服务器资源进行智能的自动分配，从而生成服务器清单和服务器分配策略文件；

所述计划管理模块：对数据抽取执行文件进行管理规划，从而生成任务执行计划文件；

所述智能执行引擎：根据任务执行计划文件、数据抽取执行文件、服务器清单和服务器分配策略文件完成数据抽取任务分配。

优选的，还包括，监控台：监控云平台数据集成管理系统的运行信息。

优选的，所述运行信息包括，数据抽取计划的执行信息、数据抽取的错误信息和服务器资源信息。

优选的，所述智能执行引擎完成数据抽取任务分配：具体为，依据任务执行计划文件、数据抽取执行文件和服务器清单作为参数，通过粒子群算法实现自动分配服务器资源与数据抽取节点的数量。