[发明专利]ETL作业的资源分配方法及装置

摘要

本申请提供了一种ETL作业的资源分配方法及装置，该方法包括建立与ETL集群环境的物理计算资源对应的逻辑层次体系；根据所配置的ETL作业所需的资源量和允许ETL作业运行的逻辑节点范围，以及ETL集群环境中实时资源量使用情况，在集群环境中选择并确定满足所述ETL作业资源量要求的一个或多个逻辑节点，并在所述一个或多个逻辑节点上为所述ETL作业分配资源量；根据逻辑节点与物理计算资源的对应关系，在所述一个或多个逻辑节点对应的实际物理主机上执行所述ETL作业。本申请提高了资源分配的效率。

主权项

一种抽取、转换和加载ETL作业的资源分配方法，其特征在于，包括：建立与ETL集群环境的物理计算资源对应的逻辑层次体系，其中，所述逻辑层次体系包括：直接与硬件计算资源对应的物理节点，以及在物理节点上创建的、对应物理节点部分或全部计算资源的逻辑节点，所述逻辑节点包括：位于特定物理节点的用于执行ETL作业的逻辑节点ETL服务器ETL‑SERVER节点，从属于ETL‑SERVER节点的位于特定物理节点之上的逻辑节点ETL客户端ETL‑CLIENT节点，以及包含一个或多个ETL‑SERVER节点和ETL‑CLIENT节点的ETL域，其中，所述物理节点、所述ETL‑SERVER节点、和所述ETL‑CLIENT节点所提供的计算资源采用资源量进行量化；根据所配置的ETL作业所需的资源量和允许ETL作业运行的逻辑节点范围，以及ETL集群环境中实时资源量使用情况，在集群环境中选择并确定满足所述ETL作业资源量要求的一个或多个逻辑节点，并在所述一个或多个逻辑节点上为所述ETL作业分配资源量；根据逻辑节点与物理计算资源的对应关系，在所述一个或多个逻辑节点对应的实际物理主机上执行所述ETL作业。