[发明专利]云计算平台与数据仓库间任务的调度方法与装置

说明书

技术领域

本发明涉及通信领域中云计算与业务支撑技术，具体地，涉及云计算平台与数据仓库的数据调度方法及装置。

背景技术

随着用户数量的不断增长和业务量的不断增加，业务支撑系统中的经营分析系统的性能凸显不足，作为经营分析系统数据处理核心结构的数据仓库，其数据处理能力也面临着越来越大的压力。

ETL是构建数据仓库的重要环节，ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。在数据仓库的构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了数据清洗、整合、转换、加载等各个过程。

在现有技术中，数据仓库的数据处理过程与云计算平台的数据处理过程是作为两套不同的数据处理模式而独立工作的。

现有的数据仓库数据ETL处理流程如下：

1)将数据文件放置在ETL加载服务器；

2)通过ETL加载服务器将数据文件装载至数据仓库；

3)在数据仓库内进行数据的处理(清洗、转换、汇总、关联等)。

现有的云计算平台数据ETL处理流程如下：

1)将数据文件放置在云计算平台；

2)利用云计算平台对数据文件进行处理(清洗、转换、汇总、关联等)；

3)将处理完成的数据以文本方式导出。

发明内容

本发明的目的是针对现有技术中经营分析系统中数据仓库的数据处理能力不足的缺陷，提出一种云计算平台与数据仓库间任务的方法及装置。

为实现上述目的，根据本发明的一个方面，提供了一种云计算平台与数据仓库间任务的调度方法。

根据本发明实施例的云计算平台与数据仓库间任务的调度方法，包括：

1)根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；

2)根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；

3)根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行。

在上述技术方案中，方法还可以包括：

4)根据云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务；

5)根据获取的云计算平台任务的运行状态信息，更新虚拟依赖任务的状态；

6)根据虚拟依赖任务更新后的状态，运行数据仓库内与该虚拟依赖任务具有依赖关系的任务。

在上述技术方案中，在所述步骤1)之前还可以包括：

7)对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。

在上述技术方案中，在所述步骤4)之前还可以包括：

8)对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。

在上述技术方案中，步骤1)具体可以包括：

11)对触发配置文件进行扫描处理；

12)读取触发配置文件中云计算平台与数据仓库之间的任务触发关系；

13)根据触发配置文件中云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务。

在上述技术方案中，步骤1)进一步可以包括步骤：

14)实时扫描所述触发配置文件，使用户对触发配置文件的修改进行响应。

在上述技术方案中，步骤4)具体可以包括：

41)对依赖配置文件进行扫描处理；

42)读取依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；

43)根据依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务。

在上述技术方案中，步骤4)进一步可以包括步骤：

44)实时扫描所述依赖配置文件，使用户对依赖配置文件的修改进行响应。

为实现上述目的，根据本发明的一个方面，提供了一种云计算平台与数据仓库间任务的调度方法。

根据本发明实施例的云计算平台与数据仓库间任务的调度方法，包括：

1)根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；

2)根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；

3)根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行。

在上述技术方案中，方法还可以包括：