[发明专利]容器云环境中流数据处理系统的弹性资源调度方法及系统

权利要求书

1.一种容器云环境中流数据处理系统的弹性资源调度方法，其特征在于，包括：

S1、根据采集信息分析系统当前作业执行情况，对容器集群的资源状态做出判断，其中，所述采集信息包括上一个批次作业完成时间、上一个批次作业中每个容器节点花费的处理时间；

S2、若容器集群的资源紧张或者空闲，则由M个历史批次作业中每个容器节点处理的负载数据量预测下一个批次作业的负载数据量，由上一个批次作业完成时间以及上一个批次作业的负载数据量计算容器节点的平均处理速度，然后依据下一个批次作业的负载数据量和平均处理速度计算新的集群规模大小，对容器集群规模进行扩展，M为第一预设值；

步骤S2包括以下步骤：

S2.1、由W'＝α*W+(1-α)*W_Δ对下一个批次作业的负载数据量进行预测，其中W'表示预测的下一个批次作业的负载数据量，W表示上一个批次作业的负载数据量，W_Δ表示最近两个已经完成的批次作业的负载数据量差值，且批次作业的负载数据量为该批次作业中每个容器节点处理的负载数据量之和，α为第五预设值，且α由M个历史批次作业中每个容器节点处理的负载数据量进行确定；

S2.2、由计算上一个批次作业中容器节点的平均处理速度；其中pt为上一个批次作业完成时间，N为容器集群中当前容器节点数量；

S2.3、由计算新的集群节点数量；其中λ为第二预设值，I为第三预设值，I表示流数据处理应用程序指定的批次周期；

S2.4、根据所述新的集群节点数量，增加或者减少容器节点，调整容器集群规模；

S3、若负载不均衡，则由M个历史批次作业中每个容器节点处理的负载数据量预测在下一个批次作业中每个容器节点处理的负载数据量，并重新划分CPU份额，对容器集群内部容器节点间进行CPU资源调度。

2.根据权利要求1所述的方法，其特征在于，步骤S1包括以下步骤：

S1.1、若pt≠λ*I，则说明系统处于不稳定状态，需要进行资源调整；

S1.2、根据上一个批次作业中每个容器节点花费的处理时间nt，将容器节点分为两类：

其中，fast类型节点表示执行速度快的节点，slow类型节点表示执行速度慢的节点，统计fast节点个数记为N_f，统计slow节点个数记为N_s，μ为第四预设值；

S1.3、若pt＞λ*I且N_s≥σ*N，则说明容器集群资源不足；若pt＞λ*I且N_s＜σ*N，则说明容器集群中容器节点负载不均；若pt＜λ*I且N_f≥σ*N，则说明容器集群资源过剩，其中σ为第四预设值。

3.根据权利要求2所述的方法，其特征在于，步骤S3包括以下步骤：

S3.1、由w'＝β*w+(1-β)*w_Δ对下一个批次作业中每个容器节点的负载数据量进行预测，其中w'表示预测的下一个批次作业中容器节点的负载数据量，w表示上一个批次作业中对应容器节点的负载数据量，w_Δ表示最近两个已经完成的批次作业中对应容器节点的负载数据量差值，β为第六预设值，且β由M个历史批次作业中每个容器节点处理的负载数据量进行确定；

S3.2、由计算下一个批次作业中各容器节点的CPU份额，其中，cpu_ratio_i'是第i个容器节点的CPU份额，w_i'是预测的下一个批次作业中第i个容器节点的负载数据量，cpu_ratio_i是上一个批次作业中第i个容器节点分配到的CPU份额；

S3.3、由下一个批次作业中各容器节点的CPU份额对容器节点的CPU份额进行调节。

4.根据权利要求2所述的方法，其特征在于，步骤S2.4具体包括：

若N'>N，则增加N'-N个容器节点，若N'<N，则根据上一个批次作业中每个容器节点的负载数据量，选择N-N'个负载数据量最少的容器节点加入黑名单，并在I时间后关闭该N-N'个容器节点。