[发明专利]云平台数据集成管理系统和方法

摘要

本发明公开了一种云平台数据集成管理系统和方法，其中，云平台数据集成管理系统，包括基础层和应用层，所述基础层为应用层提供应用支撑；所述基础层，包括元数据管理模块和系统管理模块，所述应用层，包括数据流管理模块、云资源管理模块、计划管理模块、监控台、文件生成器和智能执行引擎。实现高效率、低成本且实施难度低的优点。

主权项

1.一种云平台数据集成管理系统，其特征在于，包括基础层和应用层，所述基础层为应用层提供应用支撑；所述基础层，包括元数据管理模块和系统管理模块，所述元数据管理模块：管理数据源和目标数据库的数据，所述系统管理模块：管理集成管理系统的基础信息；所述应用层，包括数据流管理模块、云资源管理模块、计划管理模块、监控台、文件生成器和智能执行引擎，所述数据流管理模块：对来自数据源的数据流进行执行文件配置和执行模板管理；所述文件生成器：通过执行文件配置与执行模板结合，批量生成数据抽取执行文件；所述云资源管理模块：管理云服务器集群中所有的服务器资源，并通过智能策略配置对服务器资源进行智能的自动分配，从而生成服务器清单和服务器分配策略文件；所述计划管理模块：对数据抽取执行文件进行管理规划，从而生成任务执行计划文件；所述智能执行引擎：根据任务执行计划文件、数据抽取执行文件、服务器清单和服务器分配策略文件完成数据抽取任务分配；所述智能执行引擎完成数据抽取任务分配：具体为，依据任务执行计划文件、数据抽取执行文件和服务器清单作为参数，通过粒子群算法实现自动分配服务器资源与数据抽取节点的数量。