[发明专利]用于计算近实时数据聚集的搜索和检索数据处理系统

说明书

一种用于处理数据的数据处理系统所进行的方法，所述方法包括：间歇地接收来自一个或多个数据流的数据，其中所接收到的数据包括数据记录；检测所接收到的数据记录中的两个或多个特定数据记录，其中所检测到的两个或多个特定数据记录各自包括特定标识符；针对该特定标识符，创建数据记录的集合；针对数据记录的集合中所包括的至少一个特定数据记录，搜索数据记录以获得数据的历史聚集；以及计算组合数据；通过将所述组合数据插入数据记录的字段中、并且通过将来自所述集合中的数据记录至少之一的数据插入到数据记录的另一字段中来修改数据记录；基于应用规则，向存储器写入用于发起一个或多个动作的一个或多个指令。

技术领域

本说明书涉及特别适于提供从分布在网络中的数据源的数据检索的方法和数据结构。

背景技术

在一个示例中，执行应用的系统通过检索数据仓库(例如，与物流中心、分布式机械、移动通信或零售商店相关的数据仓库)中所储存的数据并分批聚集该数据，来聚集数据。这些应用通常称为批应用，这是因为它们将所接收到的数据(分批)储存在数据仓库中、然后将该数据从数据仓库检索出来以计算聚集，从而在聚集数据时导致延迟。另外，由于涉及大量数据，因此这些应用难以聚集实时数据(和/或仓储数据)。

参考图1A，环境2包括不同的应用(例如，引擎)，以实现针对批数据的不同类型的应用。在该示例中，将来自数据源3的数据储存在企业数据仓库(EDW)4中。物流应用5a、5b、5c、5d(各自实现不同的操作、规则或应用)各自分别从EDW 4中检索适合该应用的数据。这些不同应用5a、5b、5c、5d各自作用于不同的数据类型和数据流，因此从EDW 4中检索合适数据。这些不同应用5a、5b、5c、5d各自可以执行许多操作、规则和应用。各应用使用相同的通用工作流。

在另一示例中，例如如美国专利9,002,770中所描述的规则的用户界面使得用户(例如，使用者)能够定义应用中所使用的规则(例如，SMS使用40)，而无需写入用以访问数据库中的合适数据记录的计算机代码以检索规则的相关数据。一般地，当用户定义应用时，他/她(例如，在电子表格中)写出规则，然后将电子表格发送至计算机程序员以写入用以实现该规则的代码。利用规则的用户界面，用户可以在该用户界面中仅选择规则(例如，或者表示规则的图标)并指定针对该规则的值或条件。系统被配置为生成所需的指令以检索由事件指定的合适数据。通过规则的用户界面，用户可以编辑规则，而无需雇用程序员来编辑规则。

发明内容

在一些示例中，一种用于处理数据的数据处理系统所进行的方法，所述方法包括：间歇地接收来自一个或多个数据流的数据，其中所接收到的数据包括数据记录；随着继续接收来自所述一个或多个数据流的数据，检测所接收到的数据记录中的两个或多个特定数据记录，其中所检测到的两个或多个特定数据记录各自包括特定标识符，针对该特定标识符，创建包括所检测到的两个或多个特定数据记录的数据记录的集合；针对数据记录的所述集合中所包括的至少一个特定数据记录，搜索数据记录以获得与所述特定标识符相关联的数据的历史聚集，其中所述历史聚集是从先前时间段预计算出的数据聚集，以及基于所述至少一个特定数据记录和所述历史聚集来计算组合数据，通过将所述组合数据插入数据记录的字段中、并且通过将来自所述集合中的数据记录至少之一的数据插入到该数据记录的另一字段中，来修改该数据记录；通过对修改后的数据记录应用一个或多个规则，来处理所述修改后的数据记录；基于应用所述规则，向存储器写入用于发起一个或多个动作的一个或多个指令；以及将所述一个或多个指令发布至队列以发起所述一个或多个动作。一个或多个计算机的系统可以被配置为通过在系统上安装在操作中使系统进行特定动作的软件、固件、硬件或它们的组合，来进行这些特定操作或动作。一个或多个计算机程序可被配置为通过包括在由数据处理设备执行时使该设备执行特定操作或动作的指令来执行该操作或动作。