[发明专利]基于PaaS平台的大数据处理方法

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种基于PaaS（Platform-as-a-Service，平台即服务）平台的大数据处理方法。

背景技术

人们在工作中随时都面临着海量数据的处理带来的挑战，例如机器日志、RFID（Radio Frequency Identification，无线射频识别）检测器、传感器网络、车载GPS（Global Positioning System，全球定位系统）和零售交易数据，所有这些都将使数据量显著增加。目前，在处理海量数据方面，比较成熟的技术有hadoop分布式技术。然而，hadoop受限于网络和IO瓶颈，而且hadoop是基于现实的设备，随着集群的扩展和电脑性能配置的要求的提高，企业级的hadoop应用所耗费的成本开销较大。同时，hadoop的可扩展性和可靠性设计并不完美。当前的hadoop采用单一Namenode和多个Datanode的架构，单一Jobtracker的设计严重制约了整个hadoop的可扩展性和可靠性。首先，Namenode和Jobtracker是整个系统中明显的单点故障源（SPOF）。再次，单一Namenode的内存容量有限，使得hadoop集群的节点数量被限制到2000个左右，能支持的文件系统大小被限制在10-50PB, 最多能支持的文件数量大约为1.5亿 左右，实际数量取决于Namenode的内存大小，因此不得不为Namenode分配足够的内存。并且，在集中式的Namenode造成Datanode的blocks report（块报告），也会对Namenode的性能造成严重的影响。

发明内容

本发明实施例提出一种基于PaaS平台的大数据处理方法，能够解决hadoop集群单点故障源问题，提高PaaS系统的稳定性和运行效率。

本发明实施例提供一种基于PaaS平台的大数据处理方法，包括：

用户终端向PaaS平台服务器发送数据处理请求；其中，所述PaaS平台服务器上构建有多个Service服务器，每个Service服务器对应地与一个hadoop集群相关联； 

所述PaaS平台服务器解析所述数据处理请求，向相应的Service服务器发送任务指令；

所述Service服务器调用其对应的hadoop集群，去执行所述数据处理请求所对应的作业；

所述hadoop集群完成作业后，将作业结果返回给所述Service服务器；

所述Service服务器将所述作业结果返回给所述PaaS平台服务器；

所述PaaS平台服务器根据所述作业结果，向所述用户终端返回服务响应。

其中，所述hadoop集群包括一个主节点Namenode，以及和所述主节点Namenode相关联的至少一个从节点Datanode。

所述PaaS平台服务器配置有基于面向服务架构的集成开源组件的服务引擎系统。所述Service服务器是所述PaaS平台服务器上的一个服务组件。

本发明实施例提供的基于PaaS平台的大数据处理方法，在PaaS平台服务器上构建多个Service服务器，每个Service服务器对应地与一个hadoop集群相关联，从而构建一种云的分布式并行计算架构，为用户提供数据处理服务。多个hadoop集群并行运作，即使有个别的hadoop集群的主节点NameNode出现Jobtracker崩溃，其他的hadoop集群也同样能够不受影响地继续作业，整个系统也不受影响，解决了hadoop集群单点故障源问题。而且，采用多个hadoop集群并行运作的架构，可以减少每个hadoop集群中的从节点Datanode的数量，每个hadoop集群所要执行的任务量就相对减少，从而减轻hadoop集群的负担，降低数据传输受到IO限制的几率，提高系统的运行效率。

附图说明

图1是本发明提供的基于PaaS平台的大数据处理系统的一个实施例的结构示意图；

图2是本发明提供的基于PaaS平台的大数据处理系统的工作流程示意图；

图3是本发明提供的基于PaaS平台的大数据处理方法的一个实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。