[发明专利]用于大潜在异质数据集统计在线分析的系统和/或方法

说明书

技术领域

这里描述的一些实施例涉及复杂事件处理（CEP）系统和/或方法。特别地，一些实施例涉及用CEP对缓存行为及参数进行统计分析的技术，例如，关于大量潜在异质数据集（例如，所谓“大数据”）。

背景技术

流处理通常伴随着连续查询的模式，这可以被认为是在某些情况下作为对生成或改变都非常迅速的数据执行一个可能不确定时间量的查询。这样的数据被称作流，且流常常包含事件。这样的流是经常存在于真实世界的场景中的，例如，放置在仓库或者卡车里的传感器的温度读数，天气信息，入口控制系统（例如，该系统只要有人进入或离开就会生成事件），等等。事件可以包含属性（有时被称为有效载荷）像，例如，温度读数的值和元数据（有时被称作头信息或者头数据）像，例如，创建日期，有效期，以及事件的质量。在环境中可能发生的事件通常被所谓事件类型示意性地描述，这在某些方面有些类似于关系数据库中的表定义。流可以在某些情况下被组织在信道中，依次通过事件总线实现。信道和事件类型在这个意义下可以被认为是正交的概念，例如，在这个意义下信道可以包含几个事件类型，而同一事件类型的事件可以通过不同的信道传达。

事件流通常被用在遵循事件驱动架构范式的计算机系统中。在这样的系统中，几个电脑应用各自在不同的计算机系统上运行，而且通常通过网络互联，例如局域网甚至是因特网。每个应用通常负责执行特定处理任务，这可以代表整体处理过程的一个处理步骤，而且每个应用通常与另一个应用通过交换事件来通讯。例子包括通过多个分布式计算机进行复杂数学模型的运算（例如，为了天气预报或者科学计算），流水线的控制（例如，为了汽车制造，其中每个装配步骤都受控于一个参与整体装配处理的特定应用），等等。应当指出众多的处理，可能属于不同的应用（而且不必要是一个整体处理过程），也是被支持的。通常，事件可以用各种不同的格式表达。XML格式，例如，是一种常见的格式，它可以表达事件以及相关事件类型。

在一个复杂事件处理(CEP)系统中，事件可以被评估而且聚集形成衍生（或复杂）事件。（例如，通过一个引擎或者所谓事件处理代理）。一个典型的指定该评估和聚集的方式涉及到使用CEP查询，这常被制定在一个经一些CEP特定子句强化了的类似SQL查询语言中，这些CEP特定子句可以是，例如，WINDOWS或者ROWS子句以定义流或者信道中事件发生的条件。通常，CEP系统用于自动触发一些活动，例如对通过一些事件模式的发生表现出的异常情况做出的适当反应。一个常见的触发反应机制包括查询（或者使一些代理监听）专用信道上的特定复杂事件和当遇到这样的事件时执行适当反应。

与执行查询以分析数据特定状态的数据库系统相比，CEP系统对流的查询执行更为“连续”，例如，查询“永远”被“不断地”并且“连续地”评估。

因此，CEP可以被认作一个处理范式，描述增加的，事件流的高速处理，通常针对对事件流连续评估的连续查询。

新提出的“大数据”的概念涉及如今企业面对挑战性的数据管理问题的事实。数据的容量、多样性和速率大量地增加。除了常见的基于交易的数据增长之外，其他数据源在融合像，例如，来自社交媒体，移动设备，网络传感器，等，的数据。对于力求提高与客户的互动和响应的公司，对大数据的恰当管理是很重要的。因此可以认为相关的企业应用和分析任务会从更有效率和有见地的数据访问中获益，特别是当辅以复杂数据分析技术时。

分布式网络技术，例如，已经在一种提供有效数据访问方法的背景下获得重要性。通过使用多个内存缓存，可以实现有效数据访问以及可扩展性。近来CEP技术，如上概述的，已经结合该缓存方法以便高效缓存搜索。在一些这样的情况下，连续SQL查询处理缓存上的更新流，搜索相关信息，并且接连不断地发布这些搜索结果给专用结果缓存。因此，用户可以通过查询那些结果缓存直接观察到最新结果。

不幸的是，然而，我们认为在缓存特性的统计建模方面还没有出现有意义的思考。类似地，我们认为对于一个模型可以自动更新并持续追踪缓存特性最新改变的事实也没有出现有意义的思考。