[发明专利]数据流的基于时间的高效关联

说明书

提供了用于高效数据关联的技术。接收第一数据分段，并且基于与第一数据分段相关联的时间戳来选择多个哈希表中的第一哈希表。此外，基于第一数据分段来识别第一哈希表中的第一哈希桶。确定第一哈希桶包括第二数据分段。在确定第一哈希桶满足预定义标准时，从第一哈希桶中移除第二数据分段，并且将第一数据分段和第二数据分段相关联。

相关申请的交叉引用

本申请要求于2018年7月5日提交的共同待决的美国临时专利申请第62/694,403的权益。前述相关专利申请的全部内容通过引用合并于此。

技术领域

本公开中呈现的实施例总体上涉及数据的基于时间的关联。更具体地，本文公开的实施例涉及以高效并且可缩放的方式对不同数据源进行关联的技术。

背景技术

数据流可以来自各种源，并且数据流如今越来越多地用于各种过程。例如，遥测数据通常被流式传输以提供恒定(或接近恒定)的监测。这样的遥测数据可以包括用于监测任何数目的数据源的数据，例如，网络遥测、车辆或设备遥测、天气遥测等。数据流可以包括大量数据，并且流的性质通常意味着数据被相对连续地接收，其中发生有限中断(或无中断)。因此，需要高效的技术来处理这样的数据，以确保对数据流的监测持续进行而没有延迟或中断。取决于特定的数据流，这样的延迟或中断可导致严重的问题。此外，在许多实施例中，数据流是从各种不同的源接收的，并且数据必须被关联或对齐以便于对数据的分析。不幸的是，现有的解决方案需要大量资源，并且不能足够快速地进行操作以实现对较大数据流的实时监测。

附图说明

为了以能够详细理解本公开的上述特征的方式，可以通过参考实施例来对以上简要概括的本公开进行更具体的描述，其中一些实施例在所附附图中被示出。然而，应注意，附图仅示出了本公开的典型实施例，并且因此附图不应被认为是对本公开范围的限制，因为本公开可以允许其他等效的实施例。

图1是示出根据本文公开的一个实施例的用于对数据流进行关联的系统的框图。

图2示出了根据本文公开的一个实施例的数据关联引擎。

图3示出了根据本文公开的一个实施例的多级关联系统。

图4A至图4B示出了根据本文中公开的一个实施例的多级关联系统的集群。

图5是根据本文公开的一个实施例的关联引擎的集群的框图。

图6是示出根据本文公开的一个实施例的对数据进行关联的方法的流程图。

图7是示出根据本文公开的一个实施例的用于确定数据关联的方法的流程图。

图8是示出根据本文公开的一个实施例的使用环形缓冲器来对数据进行关联的方法的流程图。

图9是示出根据本文公开的一个实施例的对数据分段(partition)进行关联的方法的流程图。

图10是示出根据本文公开的一个实施例的对数据分段进行关联方法的流程图。

为了便于理解，在可能的情况下，使用了相同的附图标记来表示附图中公共的相同元素。可以预期，一个实施例中公开的元素可以在没有具体叙述的情况下有益地用于其他实施例。

具体实施方式

在独立权利要求中陈述了本发明的各方面，在从属权利要求中陈述了优选特征。一个方面的特征可以单独地或与其他方面结合地应用于每个方面。