[发明专利]用于大规模数据集并行运算的云计算服务系统和方法

说明书

技术领域

本发明属于云计算领域，具体涉及一种用于大规模数据集并行运算的云计算服务系统和方法。

背景技术

MapReduce计算平台是一个软件架构，用于大规模数据集的并行运算。当前越来越多的应用需要借助MapReduce平台来实现计算，特别是对海量数据的处理，MapReduce显示了其高效的处理能力。由于MapReduce具备良好的扩展性，容错性和可用性，当前各个行业都在使用MapReduce计算平台，同时各个科研院所也在研究和使用MapReduce。总之，MapReduce计算平台已经是必备的工具之一。由于MapReduce需要计算机集群才能提供高效的处理能力，因而如何有效的实现MapReduce集群平台的部署、管理和服务，是当前面临的实际问题。

当前，MapReduce主要部署在商用机上，也有部分服务器，根据应用需要搭建平台。实现MapReduce集群平台的第一种方案是在每台物理机器上部署MapReduce节点，MapReduce独占物理集群，一个物理机集群对应一个MapReduce计算集群。然而随着平台用户和任务的增加，这种方案将不能满足现实需求。首先，MapReduce是一个并行计算平台，特别适合于分析性的任务，所以运行MapReduce任务花费的时间，相对于关系数据库而言，会比较长。由于MapReduce是基于任务的调度，任务一旦提交，需要等到该任务占用的资源释放之后，才能根据后面提交任务的优先级进行任务调度。这样一来，当面对多用户多任务而言，由于这种方式不利于资源的共享，不适合实际应用。

第二种方案是前一方案的改进，也就是在同一个物理机集群中部署多个MapReduce计算集群，每台物理机器上部署多个MapReduce节点，通过修改MapReduce的进程端口号实现物理资源的共享。这种方式可以实现多用户多任务的要求，但是这种方案并不具备良好的扩展性。这种方案需要对MapReduce运行的端口进行很好的管理，这就增加了集群管理的难度和成本；其次也不能很好地隔离各个用户和任务，造成资源不能很好地共享。

第三种方案就是采用虚拟机技术，通过在物理集群中的每台物理机上虚拟多个虚拟机实现MapReduce集群的部署。这种方式可以很好地解决用户和任务之前的隔离，但是不利于资源的共享和有效利用，不能集中分配资源，造成资源的浪费。同时在单台物理机上虚拟多个MapReduce节点运行，一旦物理机失效，会影响整个任务的运行甚至失败。

此外，根据应用的需求，需要对MapReduce相关配置参数进行修改，也需要对MapReduce的运行状况进行实时的监控。这就使得用户需要对MapReduce计算平台有深入的了解。

当前MapReduce云计算平台的实现方案，由于没有统一的管理平台，资源得不到充分的利用和共享，应用隔离性差，不能很好的满足多用户多任务的需求，使用起来也比较麻烦，同时也不易于管理和维护，更谈不上提供MapReduce计算服务。

发明内容

为克服上述缺陷，本发明提供的用于大规模数据集并行运算的云计算服务系统和方法，使用统一的管理平台，使资源得到充分的利用和共享，应用隔离性好，能够很好的满足多用户多任务的需求，同时易于管理和维护。

为实现上述目的，本发明提供一种用于大规模数据集并行运算的云计算服务系统，其改进之处在于，所述系统包括：云计算操作系统CloudView、虚拟机平台、MapReduce计算平台、自动化配置管理工具和客户端；所述虚拟机平台根据所述客户端需求，将所述云计算操作系统CloudView虚拟化的硬件资源分配给虚拟机，虚拟机内构建MapReduce计算平台，然后通过所述MapReduce计算平台分配给所述客户端并行计算服务；所述客户端通过虚拟机平台与所述MapReduce计算平台进行数据交互；所述自动化配置管理工具，根据实际需求，调整MapReduce平台参数和配置。

本发明提供的优选技术方案中，硬件资源包括：CPU、内存、网络和存储器。

本发明提供的第二优选技术方案中，所述MapReduce计算平台，包括：MapReduce计算平台和存储系统；存储系统包括分布式文件系统HDFS、非关系型数据库存储系统NOSQL和关系数据库系统RDBMS。

本发明提供的第三优选技术方案中，所述客户端，包括：终端用户和管理员；终端用户是MapReduce计算平台和云计算操作系统CloudView的使用者，管理员负责所述云计算服务系统的管理。