[发明专利]数据流加窗和触发

说明书

一种方法包括：接收与流数据或者批量数据中的一个对应的数据(10)、和所接收到的数据的用于计算的内容。所述方法还包括：确定所述数据的用于对所述数据进行切分的事件时间；确定输出所接收到的数据的结果的处理时间；以及基于所述处理时间和所述事件时间来发射所接收到的数据的所述结果的至少一部分。

技术领域

本公开涉及数据流加窗和触发。

发明内容

本公开的一个方面提供了一种用于对数据流进行加窗和触发的方法。该方法包括：在数据处理硬件处接收与流数据或者批量数据中的一个对应的数据；通过使用数据处理硬件来确定接收到的数据的用于计算的内容；通过使用数据处理硬件来确定数据的用于对数据进行切分的事件时间；以及通过使用数据处理硬件来确定输出接收到的数据的结果的处理时间。该方法还包括基于处理时间和事件时间来发射接收到的数据的结果的至少一部分。

本公开的实施方式可以包括以下可选特征中的一个或者多个。在一些实施方式中，该方法包括：通过使用数据处理硬件，基于事件时间，对接收到的数据窗口进行分组。该窗口可以包括由静态时间周期定义的固定窗口、由时间周期和滑动周期定义的滑动窗口、由超时间隔定义的会话窗口、或者由一对函数定义的用户定义的窗口中的一个。每个固定窗口可以被应用于在相关联的时间周期内的所有数据。每个滑动窗口可以被应用于在相关联的时间周期内的所有数据并且与开始时间相关联，由滑动周期将紧接着的窗口的开始时间与该开始时间分开。而且，每个会话窗口可以被应用于在小于相关联的超时间隔的时间跨度内出现的数据的子集。在一些实施例中，该方法包括：通过使用数据处理硬件来为接收到的数据的每个元素分配可合并窗口，每个元素包括相关联的输入时间戳，并且每个可合并窗口超过相关联的窗口的输入时间戳延伸预定义时间范围。该方法还可以包括：通过使用数据处理硬件来合并可合并窗口中重叠成单个合并窗口、属于相同密钥的两个或者更多个可合并窗口，并且通过使用数据处理硬件将每个元素的相关联的输出时间戳设置为大于或者等于在相关联的合并窗口或者相关联的可合并窗口中的最早时间的值。单个合并窗口可以包括大于预定义时间范围的相关联的时间范围。

当接收到的数据与流数据对应时，该方法可以包括：通过使用数据处理硬件将流数据分组成窗口，并且通过使用数据处理硬件设置对于流数据的元素的输入时间戳。当对于元素的输入时间戳先于水位线出现时，该方法可以包括：通过使用数据处理硬件来确定包括最新流数据的流数据；以及以下步骤中的一个步骤：丢弃最新流数据，或者通过创建复制窗口允许最新流数据在最新流数据的输出中。

在一些示例中，该方法包括：通过使用数据处理硬件将接收到的数据的第一子集分组成窗口，该窗口定义数据子集的子事件时间；通过使用数据处理硬件来聚合对于窗口的第一数据子集的第一结果；以及通过使用数据处理硬件来确定发射第一数据子集的第一聚合结果的触发时间。该触发时间可以包括以下中的至少一个：当水位线到达窗口的末端时；挂钟时间的每个阈值秒数；在接收到终止窗口的标点记录之后；每个阈值记录数；在任意的用户逻辑决定触发之后；或者在具体触发器的任意组合之后。

在确定发射第一数据子集的第一聚合结果的触发时间时，该方法可以包括：在聚合接收到的数据的后续子集的结果时，通过使用数据处理硬件抛弃对第一聚合结果的使用。在确定发射第一数据子集的第一聚合结果的触发时间时，该方法还可以包括：在持久状态下将第一聚合结果的副本存储在与数据处理硬件通信的存储器硬件内，并且通过数据处理硬件，利用第一聚合结果来细化后续子集的下一个聚合结果。在确定发射第一数据子集的第一聚合结果的触发时间时，该方法可以进一步包括：在持久状态下将第一聚合结果的副本存储在与数据处理硬件通信的存储器硬件内。在发射与相同的窗口相关联的后续子集的下一个聚合结果时，该方法可以包括：发射对第一聚合结果的撤销并且发射窗口的组合会话结果。