[发明专利]一种面向实时流计算的无感知拓扑替换方法

摘要

一种面向实时流计算的无感知拓扑替换方法，初始化一个头尾相连的环形队列；获取当前时间窗口内拓扑中数据计算失败的数量failNum；遍历队列，对于队列中的每一个元素，更新E(M)；遍历队列，对于队列中的每一个元素，更新S2；判断S2值是否大于C，若是判断faileNum是否大于E(M)，若大于则对当前的拓扑进行扩容替换，否则进行缩容替换；对当前Topology中的Task索引进行重新计算；初始化newTopology，按照索引分配Task所在的Worker Node，等待原Topology数据处理完成之后再开始执行，新到达的数据会流入newTopology。本发明自动进行、系统无需暂停和对用户透明。

主权项

一种面向实时流计算的无感知拓扑替换方法，其特征在于：包括以下步骤：步骤(1)初始化一个头尾相连的环形队列ringBuffer，其长度设置为length；步骤(2)获取当前时间窗口内拓扑中数据计算失败的数量failNum；步骤(3)遍历ringBuffer队列，对于ringBuffer中的每一个元素ringBuffer(i)，E(M)＝E(M)+ringBuffer(i)；其中E(M)初始值为0，代表ringBuffer所有时间窗口内数据计算失败数量的均值；步骤(4)E(M)＝E(M)/A；其中A指的是当前ringBuffer中有效的TW个数；步骤(5)遍历ringBuffer队列，对于ringBuffer中的每一个元素ringBuffer(i)，S2＝S2+(ringBuffer(k)‑E(M))2*Wt(i)，其中S2为加权离散率，Wt(i)为系统预设的时间窗口权值，取值为[0.5，1]；步骤(6)S2＝S2/A；步骤(7)判断S2值是否大于C，若是则进行步骤(8)，否则结束，无需进行拓扑替换，C为系统预设的离散率阈值；步骤(8)判断faileNum是否大于E(M)，若大于则进行步骤(9)，否则进行步骤(10)；步骤(9)对当前的拓扑进行扩容替换，其过程如下：9.1)获取当前拓扑的并发度currentParallelism；9.2)在实时计算系统中复制一个当前拓扑的副本newTopology，将其并发度设置为currentParallelism*2，进行步骤(11)；步骤(10)对当前拓扑进行缩容替换，其过程如下：10.1)获取当前拓扑的并发度currentParallelism；10.2)实时计算系统中复制一个当前拓扑的副本newTopology，将其并发度设置为currentParallelism/2，进行步骤(11)；步骤(11)对当前Topology中的Task索引进行重新计算；步骤(12)初始化newTopology，按照索引分配Task所在的Worker Node，等待原Topology数据处理完成之后再开始执行，此时新到达的数据会流入newTopology。