[发明专利]服务提供方法以及使用该方法的装置

说明书

相关申请的交叉引用

本申请要求2010年12月15日向韩国知识产权局提交的韩国专利申请第10-2010-0128579号的优先权和权益，通过引用在这里合并其全部内容。

技术领域

本发明涉及服务提供方法以及服务提供装置，并更具体地，涉及能够考虑到各种应用环境来有效提供大容量流数据的接近实时分析和处理服务的服务提供方法以及服务提供装置。

背景技术

由于无处不在(ubiquitous)的计算环境的引入以及以用户为中心的因特网服务市场的快速发展，所以要处理的数据量已迅速增加，并且也已使得数据的类型更多样化。所以，已进行各种分布(distributed)数据处理研究，以便提供用于大容量数据的接近实时分析和处理服务。

作为各种分布数据处理研究之一，图1是示出了根据现有技术的用于处理大容量数据的并行分布处理结构的一个示范实施例的示意图。

参考图1，服务100包括单一输入源(输入源1)100和单一输出源(输出源1)130，并由处理来自输入源的数据的多个节点(节点1到节点5)111到115来运行。

该服务可通过组合所提供的算子(operator)并定义数据流图来定义。在该情况下，该数据流图可由在多个节点(节点1到节点5)111到115的每一个中存在的多个数据处理操作(OP 1到OP 5)116到120、以及用于描述在所述多个数据处理操作(OP 1到OP 5)116到120之间的数据流的有向非循环图(DAG)的定义来表示。

这样，服务110被分布安排在簇内的所述多个节点(节点1到节点5)111到115中，并被并行运行，由此相对快速地支持用于大容量数据的服务。

基于上述并行分布处理结构的根据现有技术的用于大容量数据处理的并行分布处理系统将在下面描述。

首先，公知Borealis系统是适于并行分布处理流数据的系统，并且提供用于处理流数据的各种算子，例如Union、filter、Tumble、Join等。Borealis系统在分布节点中安排配置这些服务的算子，并并行执行这些算子，由此执行用于大容量流数据的并行分布处理。然而，由于仅可处理整形后的数据并且仅可通过所提供的算子的组合来运行用户的服务定义，所以Borealis系统难以应用到复杂服务技术并与根据服务特性用于数据处理操作的用户的优化技术组合。

其间，MapReduce(映射缩小)系统是为了支持用于在被配置为具有便宜大规模节点的簇上存储的大容量数据的并行分布操作而提出的并行分布处理系统，其可从Google公司得到。MapReduce系统支持用户定义映射和缩小操作，并将所述映射和缩小操作复制到多节点作为多任务，以并行地分布处理大容量数据。

Dryad系统是比MapReduce系统更扩展的基于数据流图的并行分布处理系统。在Dryad系统中，用户描述数据处理操作作为顶点(vertex)，并且顶点之间的数据传递由信道表示，由此配置服务。一般来说，顶点可对应于节点，而信道可对应于边缘或线。Dryad系统基于有关簇中的节点的负载信息来动态地分布排列这些顶点，从而快速运行用户注册/定义的服务，由此并行处理大容量数据。

其间，Hadoop在线系统改善仅在其中MapReduce系统的大容量数据的映射和缩小操作完全结束的情况下才可获得处理结果的缺点，使得用户可甚至在处理过程中获得处理结果的数据。

然而，所有MapReduce、Dryad、Hadoop在线系统仅将除了流数据之外的在簇中的文件中存储的存储数据看作处理对象。另外，存在这样的问题，即，MapReduce和Hadoop在线系统仅提供固定的映射和缩小操作，而不支持能够在应用中获得处理结果的各种方法。

所以，现有技术不能考虑到各种应用环境而有效提供大容量流数据的接近实时分析和处理服务。

发明内容

已努力作出本发明，以提供能够考虑到各种应用环境、而有效提供大容量流数据的接近实时分析和处理服务的服务提供方法和服务提供装置。

此外，已努力作出本发明，以提供能够通过向多个节点动态地分布排列用户所定义的数据处理操作、而连续并行执行数据处理的服务提供方法和服务提供装置。