[发明专利]容器云环境中流数据处理系统的弹性资源调度方法及系统

说明书

本发明公开了一种容器云环境中流数据处理系统的弹性资源调度方法及系统，其中，方法的实现包括：执行信息采集与分析步骤，采集上一个批次作业完成时间，集群中每个节点处理时间，集群中每个节点处理的负载量，根据作业完成时间和节点处理时间关系，分析当前集群的资源需求状况并做出资源决策；集群扩展步骤，增加或者减少集群中容器节点；集群内资源调度步骤，动态调节集群内各节点间的资源分配。本发明旨在通过获取历史作业执行信息，分析集群资源状况并实现弹性资源配置，保证流处理系统面临负载变化和负载不均衡时的性能并降低资源开销。

技术领域

本发明属于云计算资源调度技术领域，更具体地，涉及一种容器云环境中流数据处理系统的弹性资源调度方法及系统。

背景技术

大数据时代下，社交网络、在线购物、物联网等会产生大量的实时数据流，如何快速分析这些实时数据成为大数据处理技术的一大挑战。分布式流数据处理系统是一类将实时流数据处理过程转换成多个小作业，在多个处理机器上并行执行的系统。基于小批次作业的分布式流数据处理系统将实时流数据按照时间间隔切分成一系列的小批次数据，然后对这些小批次数据进行处理，利用这种方式，该类型系统可以提供低延迟、高吞吐量的实时数据处理服务。随着云计算技术的发展和普及，将这类复杂的应用部署到云环境中成为趋势。

然而，生产环境中实时数据流的产生速度往往是波动的，如果在部署系统到云环境中的时候固定分配系统资源则无法保证系统性能。一方面，数据流速度过大会导致系统负载过大，固定的资源配置可能使系统无法承受高负载，进而导致处理不及时。另一方面，流数据输入速度过小会导致系统负载较小，而系统固定的资源配置会导致资源浪费，造成云计算用户的开销增大。除此之外，由于流数据被切分成多个批次数据块，针对每个批次数据的处理作业被划分成多个小作业到各个执行节点上运行，由于每一个批次数据的分布并不是均衡的，当被划分成多个小作业处理时，对应的数据块大小也呈现不均衡现象，进而不同的节点处理的负载量不均衡。由于批次执行时间取决于最慢的执行节点，因此这种不均衡势必最终使整个批次的处理时间增加，延迟时间增加，系统性能无法保证。

针对数据流速度波动问题，目前的处理办法有两种：资源最大化和弹性资源调度。资源最大化，即通过实际试运行和统计分析等手段，事先估计系统将会面临的最大峰值负载，根据峰值负载，最大化配置系统资源，保证系统的峰值性能。这种方式能很好保证系统性能，但如果数据流速度较低，则存在资源严重浪费的情况，为云计算用户带来额外开销。弹性资源调度，即通过对系统运行时状态进行观测和分析，根据负载变化弹性地调度系统资源，实现资源量和负载大小的匹配。针对负载不均衡的问题，目前的处理方法有两种：负载重新划分和弹性配置节点资源。负载重新划分，即根据一定的划分策略，将负载数据重新划分到各个节点上，尽力使其均衡分布在各个节点上。这种方法一定程度上可以改善负载不均衡的问题，但是在流数据处理中每个批次作业执行时间要求在秒级别，数据重新划分会增加大量时间开销导致执行时间增加，系统性能受到影响。动态配置节点资源，即根据各个节点处理的负载大小，弹性地配置其资源使得其处理能力能够适应其负载。这种方式在云计算环境中是十分简单高效的。本发明试图探索一种在容器云环境中针对流数据处理系统的弹性资源调度方法，依据系统处理的负载量变化，弹性地调度系统的资源，使得其能够适应数据流速度波动和节点负载分布不均衡的情况，保证其在云计算环境中的性能并降低资源开销。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种容器云环境中流数据处理系统的弹性资源调度方法及系统，根据系统处理的负载来指导系统的资源调度，通过弹性扩展集群节点个数使系统能够适应流数据速度的波动，通过弹性配置各个节点的CPU资源应对节点负载不均衡的情况，保证系统的性能。由此解决现有技术中针对流数据处理系统在容器云环境中存在的性能问题。

为实现上述目的，按照本发明的一个方面，提供了一种容器云环境中流数据处理系统的弹性资源调度方法，包括：