[发明专利]数据流执行图的自动调整

说明书

本文所描述的至少一些实施例涉及数据流执行图的自动调整。这样的数据流执行图常常被用于执行一些对数据消息流的处理。数据流执行图的性能参数被监测，并且将其与服务级别目标进行比较。基于比较，自动地决定数据流执行图的配置是否应当被改变。如果决定要做出改变，则数据流执行图的配置被变更。因此，数据流执行图的配置取决于对具有服务等级目标的性能的符合来被改变(或调整)，而无需明确的指令来改变数据流执行图的配置。

背景技术

大型云和因特网服务供应商通常每秒生成数百万个事件。为了处理如此高的事件吞吐量，经常在事件被批量处理之前先对其进行积累。为了减少时延以及确保及时的事件处理，最近流处理系统通过将事件作为流进行处理而避免批处理。

与每个事件流一起被流传输的事件的量可能有高度的变化性(在本文中称为“时间变化性”)。例如，事件流能够包括预期事件(例如，白天期间的处理需求通常可能比晚上高等)和意外事件(例如，剧烈的股市变化等)的混合。此外，由于存在跨事件流的不同的工作量特性(在本文中称为“空间变化性”)，每个事件流具有不同的资源要求。此外，在大型系统中有不可避免的故障和硬件异构性，该故障和硬件异构性使之难以确保在处理事件流方面的稳定性能。为了处理这些变化性和不确定性，流处理系统的用户(通常是系统管理员)往往为资源供应安全因素，使很多资源处于闲置或未被充分利用。

很多现有的流处理系统采用流式数据流计算模型。在此模型中，计算工作被表示为算子(operator)的有向非循环图(DAG)，其也称为“数据流执行图”。尽管这样的算子可能是无状态的，但这样的算子多数情况下为有状态的，在其中它们维持可变的局部状态。每个算子沿着DAG的有向边发送和/或接收逻辑时间戳事件。在沿(多个)输入边接收事件后，如果合适的话，算子更新它的局部状态，可能地生成新事件，并且将那些新事件沿(多个)输出边发送给下游算子。没有输入边的算子被称为“源”算子，或简称为“源”。没有输出边的算子被称为“接收器(sink)”算子，或简称为“接收器”。DAG中的边没有状态，但是可以具有可配置的性质。例如，边的性质可能是触发背压(back-pressure)的队列尺寸阈值。

本文所要求保护的主题不限于解决任何缺点的实施例，或仅在诸如上文所描述的那些环境中操作的实施例。相反，此背景仅被提供用于图示示例性技术领域，在其中本文所描述的一些实施例可以被实践。

发明内容

本文所描述的至少一些实施例涉及数据流执行图的自动调整。这样的数据流执行图常常被用于针对传入数据消息(或者作为流或者按批)执行一些处理(诸如响应于查询)。根据本文所描述的原理，数据流执行图的性能参数被监测并与服务级别目标进行比较。基于比较，自动地决定数据流执行图的配置是否应被改变。如果决定要做出改变，数据流执行图的配置被变更。

因此，本文的原理取决于符合服务等级目标来自动地改变数据流执行图的配置，而非需要明确的指令来改变数据流执行图的配置。因此在维持预期的性能标准的同时，配置可以被变更而无需用户和管理员的同时关注。因此，配置可以更频繁并且准确地被变更，从而在数据流执行图遇到变化状况(诸如空间和时间变化性)时提高数据流执行图的性能，并且不给用户带来不便。

本“发明内容”被提供以简化的形式介绍概念的选集，这些概念的选集将会在下面的“具体实施方式”中进一步地描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用作帮助确定所要求保护的主题的范围。

附图说明

为了描述在其中上述记载的和发明的其他的优点和特征可以被获得的方式，以上简略描述的发明的更加具体的描述将会通过参考其在附图中说明的具体实施例被描绘。应理解这些图仅描绘发明的通常的实施例，因此不被认为是限定它的范围，通过使用附图以附加的具体性和细节对发明进行描述和解释，其中：

图1以具有多个算子和边的有向非循环图(DAG)的形式图示了示例数据流执行图，并且被提供作为无数多种数据流执行图中的仅一种示例；