[发明专利]容器云环境中流数据处理系统的弹性资源调度方法及系统

摘要

本发明公开了一种容器云环境中流数据处理系统的弹性资源调度方法及系统，其中，方法的实现包括：执行信息采集与分析步骤，采集上一个批次作业完成时间，集群中每个节点处理时间，集群中每个节点处理的负载量，根据作业完成时间和节点处理时间关系，分析当前集群的资源需求状况并做出资源决策；集群扩展步骤，增加或者减少集群中容器节点；集群内资源调度步骤，动态调节集群内各节点间的资源分配。本发明旨在通过获取历史作业执行信息，分析集群资源状况并实现弹性资源配置，保证流处理系统面临负载变化和负载不均衡时的性能并降低资源开销。

主权项

1.一种容器云环境中流数据处理系统的弹性资源调度方法，其特征在于，包括：S1、根据采集信息分析系统当前作业执行情况，对容器集群的资源状态做出判断，其中，所述采集信息包括上一个批次作业完成时间、上一个批次作业中每个容器节点花费的处理时间；S2、若容器集群的资源紧张或者空闲，则由M个历史批次作业中每个容器节点处理的负载数据量预测下一个批次作业的负载数据量，由上一个批次作业完成时间以及上一个批次作业的负载数据量计算容器节点的平均处理速度，然后依据下一个批次作业的负载数据量和平均处理速度计算新的集群规模大小，对容器集群规模进行扩展，M为第一预设值；步骤S2包括以下步骤：S2.1、由W'＝α*W+(1‑α)*W_Δ对下一个批次作业的负载数据量进行预测，其中W'表示预测的下一个批次作业的负载数据量，W表示上一个批次作业的负载数据量，W_Δ表示最近两个已经完成的批次作业的负载数据量差值，且批次作业的负载数据量为该批次作业中每个容器节点处理的负载数据量之和，α为第五预设值，且α由M个历史批次作业中每个容器节点处理的负载数据量进行确定；S2.2、由计算上一个批次作业中容器节点的平均处理速度；其中pt为上一个批次作业完成时间，N为容器集群中当前容器节点数量；S2.3、由计算新的集群节点数量；其中λ为第二预设值，I为第三预设值，I表示流数据处理应用程序指定的批次周期；S2.4、根据所述新的集群节点数量，增加或者减少容器节点，调整容器集群规模；S3、若负载不均衡，则由M个历史批次作业中每个容器节点处理的负载数据量预测在下一个批次作业中每个容器节点处理的负载数据量，并重新划分CPU份额，对容器集群内部容器节点间进行CPU资源调度。