[发明专利]一种数据的动态加载处理方法及系统

摘要

本发明提供一种数据的动态加载处理方法及系统，所述方法包括获取当前系统的待加载的原子任务；根据所述的原子任务生成组合任务；动态采集当前系统的即时中央处理器CPU使用率、即时输入/输出IO使用率；根据所述的即时CPU使用率、即时IO使用率加载所述的组合任务。通过将原ETL任务中的源表——目标表关系视为一个原子任务，对其进行动态组合，使得ETL任务具备较高的灵活性，实现原子任务较高层次的复用度，动态组合任务加载，做到系统资源得以充分的利用，最大程度地优化提升数据仓库对外提供服务质量。

主权项

一种数据的动态加载处理方法，其特征是，所述的方法具体包括：获取当前系统的待加载的原子任务；根据所述的原子任务生成组合任务；动态采集当前系统的即时中央处理器CPU使用率、即时输入/输出IO使用率；根据所述的即时CPU使用率、即时IO使用率加载所述的组合任务，该步骤包括：获取当前系统的CPU使用上限以及IO使用上限；根据所述的即时CPU使用率、当前系统的CPU使用上限判断所述的即时CPU使用率是否饱和；当判断为否时，根据所述的即时IO使用率、当前系统的IO使用上限继续判断所述的即时IO使用率是否饱和；当判断为否时，确定所述组合任务的加载所需资源；其中，确定所述组合任务的加载所需资源包括：获取所述原子任务的原子生成记录、运行时间以及数据规模；根据所述的运行时间以及数据规模确定原子数据加载效率；根据所述的原子数据加载效率以及原子生成记录确定所述组合任务的加载完成时间；获取所述原子任务的到达时间区间；当所述组合任务的加载完成时间在所述的到达时间区间内时，获取所述原子任务的资源消耗；根据所述的资源消耗以及原子生成记录确定所述组合任务的加载所需资源。