[发明专利]一种流计算的在线伸缩方法及装置

说明书

本发明提供一种流计算的在线伸缩方法、装置、电子设备及存储介质，包括：获取各计算线程Task的CPU平均使用率、内存平均使用率和数据平均积压量，以计算综合压力，根据综合压力确定在线伸缩状态；根据在线伸缩状态，计算最新Task并行度，以根据最新Task并行度，制定在线伸缩策略；执行在线伸缩策略，实现对于流计算的在线伸缩。本发明提供的流计算的在线伸缩方法及装置，扩展了Flink增加伸缩判断和伸缩控制的能力，周期性地基于Task的实际计算压力，作为伸缩决策依据，以在保持平滑的前提下，自动计算出合适并行度，动态迁移状态到新的Task，在保持数据消费不中断的基础上，能更加合理的利用计算资源。

技术领域

本发明涉及计算机技术领域，尤其涉及一种流计算的在线伸缩方法及装置。

背景技术

Flink是开源的批流一体的大数据计算引擎，其在流计算领域占据主导地位。图1是现有技术中Flink的架构示意图，如图1所示，主要包括控制节点(JobManager)和工作节点(TaskManager)。

Flink流计算的在线伸缩，是指集群级的在线伸缩，即在运算资源不够的情况下，向资源管理集群(Yarn、K8s、Mesos等)申请创建新的TaskManager，以增加计算资源。在TaskManager资源空闲，则将资源释放并交还资源管理集群(已经执行作业的资源不会改变)。因此，从发展趋势来看，对于作业级的在线伸缩，可以充分合理的利用计算资源。

流计算作业部署执行时，会申请所需要的所有计算资源，在整个计算过程中，无论繁忙、空闲都会持有这些计算资源，并不会释放或者申请新的计算资源，这就导致了资源的不合理使用。Flink现有的作业级伸缩技术方案仅能通过重启作业来调整并行度，其实现作业伸缩(并行度)主要有两种方式：使用命令调整作业的整体并行度；或者通过修改代码或者使用配置文件，并在作业重启的时候，调整具体Task的并行度。

以上两种方式均不能根据计算压力，动态在线调整具体的某一个Task的并行度，状态的重分布需要在作业重启的过程中实现。

发明内容

针对现有技术存在的问题，本发明实施例提供一种流计算的在线伸缩方法及装置。

本发明提供一种流计算的在线伸缩方法，包括：获取一个时间周期内各计算线程Task的CPU使用率、内存使用率和数据积压量，以计算CPU平均使用率、内存平均使用率和数据平均积压量；根据所述CPU平均使用率、内存平均使用率和数据平均积压量计算综合压力，以根据所述综合压力确定在线伸缩状态；所述在线伸缩状态包括扩张状态、维持状态和收缩状态；根据所述在线伸缩状态，计算最新Task并行度；根据所述最新Task并行度，制定在线伸缩策略；执行所述在线伸缩策略，实现对于流计算的在线伸缩。

根据本发明提供的一种流计算的在线伸缩方法，获取一个时间周期内各Task的数据积压量，具体包括：在Task为数据源Task的情况下，获取所述一个时间周期内所述Task的输出缓冲区内的数据量，作为所述数据积压量；在Task为数据输出Task或数据处理Task的情况下，获取所述一个时间周期内所述Task的输入缓冲区的数据量作为积压数据量。

根据本发明提供的一种流计算的在线伸缩方法，根据所述CPU平均使用率、内存平均使用率和数据平均积压量计算综合压力的计算公式，具体为：

Pressure_avg＝CPU_avg*CPU_weight+MEM_avg*MEM_weight+Backlog_avg*Backlog_weight；