[发明专利]云平台数据集成管理系统和方法

权利要求书

1.一种云平台数据集成管理系统，其特征在于，包括基础层和应用层，所述基础层为应用层提供应用支撑；

所述基础层，包括元数据管理模块和系统管理模块，

所述元数据管理模块：管理数据源和目标数据库的数据，

所述系统管理模块：管理集成管理系统的基础信息；

所述应用层，包括数据流管理模块、云资源管理模块、计划管理模块、监控台、文件生成器和智能执行引擎，

所述数据流管理模块：对来自数据源的数据流进行执行文件配置和执行模板管理；

所述文件生成器：通过执行文件配置与执行模板结合，批量生成数据抽取执行文件；

所述云资源管理模块：管理云服务器集群中所有的服务器资源，并通过智能策略配置对服务器资源进行智能的自动分配，从而生成服务器清单和服务器分配策略文件；

所述计划管理模块：对数据抽取执行文件进行管理规划，从而生成任务执行计划文件；

所述智能执行引擎：根据任务执行计划文件、数据抽取执行文件、服务器清单和服务器分配策略文件完成数据抽取任务分配；

所述智能执行引擎完成数据抽取任务分配：具体为，依据任务执行计划文件、数据抽取执行文件和服务器清单作为参数，通过粒子群算法实现自动分配服务器资源与数据抽取节点的数量。

2.根据权利要求1所述的云平台数据集成管理系统，其特征在于，还包括，监控台：监控云平台数据集成管理系统的运行信息。

3.根据权利要求2所述的云平台数据集成管理系统，其特征在于，所述运行信息包括，数据抽取计划的执行信息、数据抽取的错误信息和服务器资源信息。

4.根据权利要求1所述的云平台数据集成管理系统，其特征在于，通过粒子群算法实现自动分配服务器资源与数据抽取节点的数量具体为：开始时，管理系统为云服务器集群中的每个云服务器分配一个任务执行，当任务执行完后，将当前执行耗时与历史执行耗时平均值进行对比，若任务执行耗时比历史平均值高，则认为该云服务器已经满负荷，不再给该云服务器添加新的任务，保持派发当前任务数给该云服务器；否则，认为该云服务器还能添加更多的任务，则会在当前派发任务数基础上再加一，派发给云服务器。

5.根据权利要求4所述的云平台数据集成管理系统，其特征在于，若任务执行耗时比历史平均值高15％，则认为该云服务器已经满负荷。

6.根据权利要求1或2所述的云平台数据集成管理系统，其特征在于，所述系统管理模块管理集成管理系统的基础信息，包括，系统中的用户、角色、组织机构以及系统的数据权限。

7.一种基于权利要求1至6任一所述的云平台数据集成管理系统的数据集成管理方法，其特征在于，包括：

分别进行数据抽取任务、服务器资源和任务执行计划配置；

将上述配置的数据抽取任务、服务器资源和任务执行计划输入到智能执行引擎中，智能执行引擎依据任务执行计划文件、数据抽取执行文件和服务器清单作为参数，实现自动分配服务器资源与数据抽取节点的数量，从而安排任务文件执行；

实时输出任务文件执行的状态信息。

8.根据权利要求7所述的数据集成管理方法，其特征在于，通过粒子群算法实现自动分配服务器资源与数据抽取节点的数量具体为：开始时，管理系统为云服务器集群中的每个云服务器分配一个任务执行，当任务执行完后，将当前执行耗时与历史执行耗时平均值进行对比，若任务执行耗时比历史平均值高，则认为该云服务器已经满负荷，不再给该云服务器添加新的任务，保持派发当前任务数给该云服务器；否则，认为该云服务器还能添加更多的任务，则会在当前派发任务数基础上再加一，派发给云服务器。

9.根据权利要求7所述的数据集成管理方法，其特征在于，所述任务文件执行的状态信息，包括服务器运行信息、数据抽取节点运行信息、任务执行信息和执行错误信息。