[发明专利]多系统的集成分析

说明书

本发明涉及一种多系统的集成分析。实施例提供了支持用于执行分析的应用的联合系统。该联合系统包括：第一分布式系统，用于执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；内存数据库系统，用于执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内部存储装置中；以及第二分布式系统，用于执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析。第一任务、第二任务和第三任务的运行是通过由所述应用使用的且与内存数据库系统相关联的脚本语言控制的。

技术领域

本公开涉及多系统的集成分析。

背景技术

设计成功的分析产品需要考虑多种不同因素，包括性能（例如响应时间）、总拥有成本和/或现有软件包的可用性。目前，存在着许多不同的支持分析的系统，诸如分布式文件系统（例如，Hadoop系统）、支持开源编程语言的分布式系统（例如，R系统）以及支持内存（in-memory）技术的系统。例如，Hadoop系统可以是以相对较低的拥有成本支持大规模并行操作（parallelism）的系统，但是可以包括无共享架构、与许多现在的内存分析应用相比相对较低的性能、以及缺乏查询语言的限制。R系统可以是具有超过3000个可用软件包的统计计算软件包，但在在并行操作和处理大量数据方面的可扩展性有限，而且由于它是基于磁盘的系统而具有较低的性能。内存系统可以在响应时间方面具有最高的性能。此外，内存系统可以充分利用多核基础构造，以确保复杂分析的完全并行操作，并且可以为数据库查询提供灵活的查询语言，并提供包括诸如可以调用外部系统的C/C++、R和二进制代码中的任意一种的非SQL存储过程的能力。然而，内存数据库系统一般比其他系统更昂贵，且具有较少的新的可用的应用/分析软件包。

因此，这些分析系统具有自己的优点和缺点。一般情况下，客户要求系统具有高性能和实惠的价格。使用上述系统之一建立分析系统限制了系统的底层技术的局限性。例如，Hadoop系统具有较低的拥有成本，但是缺乏内存系统的高性能和语言能力，而使用内存系统构建系统可能不符合处理较大组的原始数据的成本效益。此外，R系统可能缺乏处理较大组的原始数据的能力以及对高性能的可扩展性/并行操作。

发明内容

实施例提供了支持用于执行分析的应用的联合系统。该联合系统包括：第一分布式系统，用于执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；内存数据库系统，用于执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内部存储装置中；以及第二分布式系统，用于执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析。第一任务、第二任务和第三任务的运行是通过由应用使用的且与内存数据库系统相关联的脚本语言来控制的。一个或多个第三任务包括从第二分布式系统接收分析的结果并将该结果存储在内部存储装置中。

第一分布式系统可以包括Hadoop系统，而且第二分布式系统可以包括R系统。脚本语言可以包括结构化查询语言（SQL）脚本，其中SQL脚本可以包括嵌入式R语言脚本。

内存数据库系统可以被配置为通过存储器到存储器复制信道从第一分布式系统接收一组数据块。第一分布式系统可以包括多个节点，而且每个节点都可以包括转换单元，该转换单元被配置为将传入数据转换成具有能够与内存数据库系统的内部存储装置兼容的格式的一个或多个数据块。

内存数据库系统可以包括排序单元，该排序单元被配置为对一组数据块进行排序，以使得该组数据块中的数据块不可用于分析，直到该组数据块中先前的数据块都被接收。第一分布式系统可以包括排序单元，该排序单元被配置为在将一组数据块发送到内存数据库系统之前对该组数据块进行排序。