[发明专利]一种流计算的在线伸缩方法及装置

权利要求书

1.一种流计算的在线伸缩方法，其特征在于，包括：

获取一个时间周期内各计算线程Task的CPU使用率、内存使用率和数据积压量，以计算CPU平均使用率、内存平均使用率和数据平均积压量；

根据所述CPU平均使用率、内存平均使用率和数据平均积压量计算综合压力，以根据所述综合压力确定在线伸缩状态；所述在线伸缩状态包括扩张状态、维持状态和收缩状态；

根据所述在线伸缩状态，计算最新Task并行度；

根据所述最新Task并行度，制定在线伸缩策略；

执行所述在线伸缩策略，实现对于流计算的在线伸缩。

2.根据权利要求1所述的流计算的在线伸缩方法，其特征在于，获取一个时间周期内各Task的数据积压量，具体包括：

在Task为数据源Task的情况下，获取所述一个时间周期内所述Task的输出缓冲区内的数据量，作为所述数据积压量；

在Task为数据输出Task或数据处理Task的情况下，获取所述一个时间周期内所述Task的输入缓冲区的数据量作为积压数据量。

3.根据权利要求1所述的流计算的在线伸缩方法，其特征在于，根据所述CPU平均使用率、内存平均使用率和数据平均积压量计算综合压力的计算公式，具体为：

Pressure_avg＝CPU_avg*CPU_weight+MEM_avg*MEM_weight+Backlog_avg*Backlog_weight；

其中，Pressure_avg为Task的综合压力；CPU_avg为CPU平均使用率，CPU_weight为CPU平均使用率的权重系数；MEM_avg为内存平均使用率，MEM_weight为内存平均使用率的权重系数；Backlog_avg为数据平均积压量，Backlog_weight为数据平均积压量的权重系数。

4.根据权利要求1所述的流计算的在线伸缩方法，其特征在于，根据所述综合压力确定在线伸缩状态，具体包括：

在所述综合压力不大于收缩压力阈值的情况下，确定所述在线伸缩状态为收缩状态；

在所述综合压力小于收缩压力阈值，且所述综合压力大于扩张压力阈值的情况下，确定所述在线伸缩状态为维持状态；

在所述综合压力不小于扩张压力阈值的情况下，确定所述在线伸缩状态为扩张状态。

5.根据权利要求4所述的流计算的在线伸缩方法，其特征在于，根据所述在线伸缩状态，计算最新Task并行度，具体包括：

在确定所述在线伸缩状态为收缩状态的情况下，所述最新Task并行度为Task的当前并行度与收缩系数的乘积；

在确定所述在线伸缩状态为维持状态的情况下，所述最新Task并行度为Task的当前并行度；

在确定所述在线伸缩状态为扩张状态的情况下，所述最新Task并行度为Task的当前并行度与扩张系数的乘积。

6.根据权利要求1所述的流计算的在线伸缩方法，其特征在于，根据所述最新Task并行度，制定在线伸缩策略，具体包括：

在确定所述在线伸缩状态为扩张状态的情况下，所述制定在线伸缩策略，包括：基于Flink KeyGroup分配算法，根据所述最新Task并行度，确定将Flink中的KeyGroup分配至各个Task的在线扩张策略，并获取分配后的KeyGroup与Task之间的对应关系以及KeyGroup的分布状态在分布式文件系统中的位置；

在确定所述在线伸缩状态为收缩状态的情况下，所述制定在线伸缩策略，包括：基于Flink KeyGroup分配算法，将所有Task按照计算压力排序，并依次将计算压力最小的Task作为被回收的Task进行在线收缩，直至达到所述最新Task并行度为止；

在确定所述在线伸缩状态为维持状态的情况下，所述在线伸缩策略为不执行在线伸缩。