[发明专利]一种面向实时流计算的无感知拓扑替换方法

说明书

一种面向实时流计算的无感知拓扑替换方法，初始化一个头尾相连的环形队列；获取当前时间窗口内拓扑中数据计算失败的数量failNum；遍历队列，对于队列中的每一个元素，更新E(M)；遍历队列，对于队列中的每一个元素，更新S²；判断S²值是否大于C，若是判断faileNum是否大于E(M)，若大于则对当前的拓扑进行扩容替换，否则进行缩容替换；对当前Topology中的Task索引进行重新计算；初始化newTopology，按照索引分配Task所在的Worker Node，等待原Topology数据处理完成之后再开始执行，新到达的数据会流入newTopology。本发明自动进行、系统无需暂停和对用户透明。

技术领域

本发明涉及信息技术领域，具体涉及一种面向实时流计算的无感知拓扑替换方法。

背景技术

从社交网络资讯(以提供热门话题或实时搜索)到广告处理数据引擎，实时流计算在当今工业中被广泛地使用，如Apahe Storm，Twitter’s Heron，Apache Flink，SparkStreaming，Samza等。在这些系统中，数据的产生完全由数据源确定，数据源的动态变化及状态不统一导致数据流的速率呈现出了突发性的特征，而数据流的突发性特征常常导致过载的发生，发生过载还有以下几个原因：网络拥塞，资源利用率高，干扰，异质性，IO高频阻塞等。因此，在实时流计算中，过载是常见且难以避免的。

实时流计算已被许多知名企业应用于大数据计算领域，如淘宝实时分析、阿里云Galaxy实时计算、携程网站性能监控等。对于实时性系统，系统的响应性和稳定性是关注的重点。响应意味着降低处理数据的延迟，即数据计算延迟，例如，数据从它输入至系统中到其结果反映给用户所经过的时间；稳定性意味着系统能够稳定持久地在集群中运行。而过载的发生极易导致系统整体的数据计算延迟增加和不稳定甚至不可用。

在实时流计算系统中，计算结构是一个有向无环图(DAG)，称为拓扑(Topology)，拓扑由数据流(Steam)，数据流的生成者组件(Spout)和运算组件(Bolt)组成。Task是拓扑中Spout或Bolt在运行时的实例，执行Task的进程称为执行器(Executor)，执行器所在的服务器称为工作节点(Worker Node)。当实时流计算系统发生过载时，在系统中进行计算的数据表现出因计算时间超时而失败，为解决这个问题，可以通过给拓扑(Topology)分配更多的计算资源，提高Topology的并发度来解决。但这种解决方法是有局限的，因为Topology中的任务数量一旦确定无法修改，除非在修改任务数量后重新启动拓扑，因此使用这种方法进行资源的重新分配还受限于系统运行前设定的任务数量。

国内外关于实时流式计算系统的资源调度和分配做了很多研究，J.Xu提出的方法主要是通过修改执行器(Executor)来收集每个Executor的工作负载，并判断该工作节点(Worker Node)是否过载，根据Worker Node是否过载来选择不同的调度策略。L.Aniell提出了一种自适应的在线调度器，其目的也是对实时流计算系统调度方法的缺点改进，这两者的核心观点都是减少节点之间的网络流量，但是两者基于调度的优化方法必须暂停拓扑进行资源的重新分配，重新分配过程中系统不可用，这可能会导致更长的数据计算延迟和数据的丢失，这对于实时性系统来说是无法接受的。

发明内容

为了克服现有的实时流计算方法中对计算资源的重新分配需要暂停系统，系统暂停期间不可用的，资源重新分配受限于预设任务数量的不足，本发明提出了一种自动进行的、系统无需暂停的、对用户透明的面向实时流计算的无感知拓扑替换方法，此方法根据拓扑的整体负载来动态地调整拓扑所使用的集群计算资源。

为了解决上述技术问题本发明提供如下的技术方案：

一种面向实时流计算的无感知拓扑替换方法，包括以下步骤：

步骤(1)初始化一个头尾相连的环形队列ringBuffer，其长度设置为length；