[发明专利]一种数据的动态加载处理方法及系统

说明书

技术领域

本发明关于计算机数据技术领域，特别是关于计算机数据的抽取、转换、装载技术，具体的讲是一种数据的动态加载处理方法及系统。

背景技术

数据仓库是一个庞大的数据海洋，海量的数据都是通过ETL(Extract Transform Load、数据抽取、转换、装载)任务来完成加载转换的。随着计算机技术的日益发展，数据仓库的规模不断壮大，纳入的数据源与日俱增，其时效性也参差不齐。

现有技术中的ETL任务，是将进相同数据仓库模型实体的不同源表全部组合在同一个加载任务中，仅当该任务的所有上游源表到齐后，才开始加载转换。因此，通过现有技术中的ETL任务来完成加载转换存在如下问题：

1、加载任务若集中在一段时间内爆发，爆发前上游数据到达却不加载，会导致系统空闲；爆发后若系统繁忙压力较大，会导致加载速度受限于系统资源。

2、涉及批量中关键路径上的作业，只能通过固定拆分任务实现调整，不够自动、灵活。

因此，如何提出一种基于数据的动态加载处理的方案，其能够克服数据仓库ETL任务内容固定组合所带来的不利影响是本领域亟待解决的技术难题。

发明内容

为了克服现有技术存在的数据仓库ETL任务内容固定组合所带来的不利影响的技术问题，本发明提供了一种数据的动态加载处理方法及系统，将原ETL任务中的源表——目标表关系视为一个原子任务，对其进行动态组合，实现较优原子组合，以充分利用系统资源，提高ETL效率，提高数据仓库对外数据服务效益。

本发明的目的之一是，提供一种数据的动态加载处理方法，包括：获取当前系统的待加载的原子任务；根据所述的原子任务生成组合任务；动态采集当前系统的即时中央处理器CPU使用率、即时输入/输出IO使用率；根据所述的即时CPU使用率、即时IO使用率加载所述的组合任务。

本发明的目的之一是，提供了一种数据的动态加载处理系统，所述的系统具体包括：原子任务获取装置，用于获取当前系统的待加载的原子任务；组合任务生成装置，用于根据所述的原子任务生成组合任务；即时使用率采集装置，用于动态采集当前系统的即时中央处理器CPU使用率、即时输入/输出IO使用率；组合任务加载装置，用于根据所述的即时CPU使用率、即时IO使用率加载所述的组合任务。

本发明的有益效果在于，提供了一种数据的动态加载处理方法及系统，通过将原ETL任务中的源表——目标表关系视为一个原子任务，对其进行动态组合，使得ETL任务具备较高的灵活性，实现原子任务较高层次的复用度，动态组合任务加载，做到系统资源得以充分的利用，最大程度地优化提升数据仓库对外提供服务质量。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据的动态加载处理方法的流程图；

图2为图1中的步骤S102的具体流程图；

图3为图1中的步骤S104的实施方式一的具体流程图；

图4为图1中的步骤S104的实施方式二的具体流程图；

图5为图1中的步骤S104的实施方式三的具体流程图；

图6为图3中的步骤S304的具体流程图；

图7为图3中的步骤S305的具体流程图；

图8为本发明提供的一种数据的动态加载处理方法在具体实例中的流程图；

图9为本发明实施例提供的一种数据的动态加载处理系统的结构框图；

图10为本发明实施例提供的一种数据的动态加载处理系统中组合任务生成装置200的结构框图；

图11为本发明实施例提供的一种数据的动态加载处理系统中组合任务加载装置400的实施方式一的结构框图；

图12为本发明实施例提供的一种数据的动态加载处理系统中组合任务加载装置400的实施方式二的结构框图；

图13为本发明实施例提供的一种数据的动态加载处理系统中组合任务加载装置400的实施方式三的结构框图；

图14为本发明实施例提供的一种数据的动态加载处理系统中资源确定模块404的结构框图；

图15为本发明实施例提供的一种数据的动态加载处理系统中加载模块405的结构框图。