[发明专利]大规模数据处理系统及方法

说明书

技术领域

本发明涉及大规模数据处理技术，尤指一种大规模数据处理系统及方法。

背景技术

目前，处于数据大爆炸的时代，信息数据越来越多，人们对信息数据的处理能力的要求也越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算，金融、政府信息化、教育、企业、网络游戏、人工智能等更广泛的领域对高性能计算的需求迅猛增长，而计算速度对于高性能计算尤为重要。

现有技术中，高性能计算朝多核、众核发展，通常采用中央处理器(Central Processing Unit，简称：CPU)与图形处理器(Graphics Processing Unit，简称：GPU)异构协同计算模式，提升应用计算速度。

但是，现有的数据处理系统和方法受限于网络带宽、系统内存等性能的影响无法满足大规模数据的处理需求。

发明内容

为了解决上述技术问题，本发明提供了一种大规模数据处理系统及方法，能够对大规模数据包进行统筹规划并优化数据传输环节，最大限度的的利用现有系统的性能，使得各计算节点的负载均衡，缩短了计算时间，提升整个系统效率。

第一方面，本发明提供一种大规模数据处理系统，应用于中央处理器与图形处理器混合异构集群，包括：至少一个共享存储节点、一个控制节点和多个计算节点，所述共享存储节点、控制节点和多个计算节点通过高速网络相互连接；其中，

所述共享存储节点用于存储所有需要处理的数据包，所述数据包由多个基本数据块组成；

所述控制节点用于给各所述计算节点分配计算任务，接收各所述计算节点计算后的结果；

所述计算节点用于根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算，发送计算后的结果给所述控制节点。

第二方面，本发明提供一种大规模数据处理方法，应用于大规模数据处理系统，所述大规模数据处理系统包括：至少一个共享存储节点、一个控制节点和多个计算节点，所述共享存储节点、所述控制节点和多个所述计算节点通过高速网络相互连接，所述方法包括：

所述共享存储节点存储所有需要处理的数据包，所述数据包由多个基本数据块组成；

所述控制节点给各计算节点分配计算任务，接收各所述计算节点计算后的结果；

所述计算节点根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算，发送计算后的结果给所述控制节点。

与现有技术相比，本发明提供的一种大规模数据处理系统和方法，应用于中央处理器与图形处理器混合异构集群，包括至少一个共享存储节点、一个控制节点和多个计算节点，通过高速网络将所述共享存储节点、控制节点和多个计算节点相连接，由控制节点对数据包中的基本数据块进行统筹规划分配给各计算节点，使得各计算节点的负载均衡，由各计算节点直接从共享存储节点中读取相应的基本数据块进行计算，并返回计算后的结果给控制节点，优化了数据传输过程，缩短了计算时间，从而最大限度的利用现有系统的性能，使得整个系统效率大幅提升，不需受限于网络带宽不足、内存容量小等情况，满足了高性能应用对于大规模数据进行处理的要求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的大规模数据处理系统实施例一的拓扑结构示意图；

图2为本发明实施例提供的大规模数据处理系统实施例一的网络通信示意图；

图3为本发明实施例提供的大规模数据处理方法实施例一的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例涉及的大规模数据处理系统，应用于中央处理器与图形处理器混合异构集群，具体可以是计算机集群或者服务器集群上，但并不以此为限。