[发明专利]多应用时间线上的流数据处理

说明书

适应特定类型的无序数据；即，在数据无序到达时要适应这种无序数据，因为数据是在可能具有不同应用时间线的系统中生成的。当数据到达时，该数据以特定分区键到达。例如，该分区键可以标识数据源。来自每个分区键的数据相对于来自同一分区键的所有其他数据保持有序。也就是说，与来自任何其他键的数据相比，允许来自一个键的数据具有一个不同的时间线。因此，当跨键全局查看时，数据可能不是有序的。相反，只要到达的数据的滞后在某个容忍滞后范围内，就可以容忍数据全局无序。如果数据到达，具有的时间超过最大容忍延迟，则系统应用某个策略来确定如何处理被延迟的数据。

背景技术

计算系统和相关联的网络极大地改变了我们的世界，其引入了现在通常称为“信息时代”的概念。信息时代的一个特征是可以生成和发布针对数据集合的查询。例如，数据集合可以包括关系数据库，或者结构化或甚至非结构化数据的其他数据存储。现在，甚至可以针对根据时间来组织的数据流生成查询。流式数据的示例是时间戳事件流。

当处理数据流时，通常在假定流式数据以某种时间顺序的相似性到达的情况下发生处理。时间排序的假定有几个原因，主要是用于性能优化。但是，基于流数据处理中常用的用例，这样的假定通常是有根据的。理想情况是流式数据始终按顺序到达。然而，由于各种环境或系统原因(诸如网络延迟)，数据可能无序到达。因此，无序数据到达是一种真实世界的场景，这样的场景需要适应但却不是最佳数据处理路径的一部分。

无序处理通常由流数据处理器以两种不同方式之一来处理。在一种传统方式中，使所有无序数据按数据进入系统的时间排序。这可以通过以下方式来进行：等待一段时间来按顺序对无序数据进行排序，将无序数据的(多个)时间戳调节为有序，或者丢弃一个或多个无序数据，使得剩余数据有序。一旦数据在系统内部，流引擎就可以对数据进行操作，知道数据安全有序并且针对该情况进行优化。在处理无序数据的第二种传统方式中，在系统内完成的所有处理都适应无序数据，并且由系统用户决定在无序数据到达发生时该做什么。

本文中要求保护的主题不限于解决在诸如上述那些环境中的任何缺点或仅在诸如上述那些环境中操作的实施例。相反，提供该背景仅用于说明可以实践本文中描述的一些实施例的一个示例性技术领域。

发明内容

本文中描述的至少一些实施例涉及适应特定种类的无序数据；即，在数据无序到达时要适应这种无序数据，因为数据是在可能具有不同应用时间线的系统中生成的。作为示例，数据可以来自不同的源，每个源具有它们自己的可能不同的应用时间。根据本文中描述的原理，当数据到达时，该数据以特定分区键到达。例如，该分区键可以标识数据源。本文中描述的原理确保来自每个分区键的每个数据相对于来自同一分区键的所有其他数据保持有序(该属性在下文中称为“键内有序”)。也就是说，与来自任何其他键的数据相比，允许来自一个键的数据具有一个不同的时间线。因此，当跨键全局查看时，数据可能不是有序的。

然而，根据本文中描述的原理，只要到达的数据的滞后在某个容忍滞后的范围内，就可以容忍数据是全局无序的。如果数据到达的时间超过最大容忍滞后，则该系统应用某个策略来确定如何处理被延迟的数据。该策略可以指定：丢弃数据，将数据的时间戳调节到容忍范围内，和/或应当重新排序数据以允许被延迟的数据全局按顺序放置(或者至少在容忍滞后的范围内全局按顺序放置)。

提供本发明内容部分是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式部分中进一步描述。本发明内容部分无意标识所要求保护的主题的关键特征或必要特征，也无意用于帮助确定所要求保护的主题的范围。

附图说明

为了描述可以获取本发明的上述和其他优点和特征的方式，将通过参考附图中所示的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，因此不应当被认为是对其范围的限制，本发明将通过使用附图的附加特征和细节进行描述和解释，在附图中：

图1示出了可以采用本文中描述的原理的示例计算机系统；

图2如下示出了查询环境，其中一个查询接收与多个分区键相关联的数据流；