[发明专利]一种高效动态负载均衡的处理大规模数据的系统及方法

说明书

技术领域

本发明涉及一种处理大规模数据技术领域，具体地说是一种高效动态负载均衡的处理大规模数据的系统及方法。

背景技术

当前社会人类的数据大爆炸，信息数据越来越多，人们对信息数据的处理能力的要求也越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算，金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能计算的需求迅猛增长。

计算速度对于高性能计算尤为重要，高性能计算向多核、众核发展，采用异构并行提升应用计算速度，目前CPU+GPU是非常成熟的异构协同计算模式，适合高度并行计算的应用或算法。但是由于一些应用运算数据规模一直比较大，受限于网络带宽，系统内存等原因在单台服务器中添加硬件设备的方式，已经无法满足当前的需求，需要进一步设计一种根据现有有限的硬件设备下能够处理大规模数据的方法。

发明内容

本发明的技术任务是提供一种高效动态负载均衡的处理大规模数据的系统及方法；实现动态负载均衡的CPU+GPU混合异构集群系统，充分利用设备的性能，以实现整个系统效率大幅提升，并解决当前服务器计算系统网络带宽不足、内存容量小等情况，而无法对较大规模数据进行处理的问题。

本发明的技术任务是按以下方式实现的，

一种高效动态负载均衡的处理大规模数据的系统，为CPU与GPU混合异构集群系统，包括中央控制系统、计算集群系统、存储系统、高速网络；中央控制系统中节点采用CPU与GPU混合异构架构；计算集群系统中节点采用CPU与GPU混合异构架构或采用CPU架构；存储系统分共享存储和本地存储，共享存储中节点采用CPU架构，本地存储设置在中央控制系统的节点以及计算集群系统的每个节点中，共享存储分为主存储和备份存储，主存储和备份存储作为冗余存储、存储相同的计算数据，本地存储用于存储所在的中央控制系统的节点或者是计算集群系统的节点的数据；高速网络用于将中央控制系统中节点、计算集群系统中节点、共享存储中节点互相连接，组成集中式的处理大规模数据的系统。

一种高效动态负载均衡的处理大规模数据的系统，中央控制系统中节点控制计算集群系统中节点、存储系统中节点。

一种高效动态负载均衡的处理大规模数据的系统，中央控制系统中节点设置有1个，共享存储中节点设置有至少1个，计算集群系统中节点设置有至少2个。

一种高效动态负载均衡的处理大规模数据的方法，采用上述中任意一种处理大规模数据的系统，对大规模数据进行处理，包括如下步骤：

（1）、中央控制系统中节点通过高速网络与所有计算集群系统中节点相互连接，中央控制系统中节点控制各个计算集群系统中节点，中央控制系统中节点动态的分配计算任务给计算集群系统中节点，中央控制系统中节点接收计算集群系统中节点的返回结果；

（2）、计算集群系统中节点与共享存储中节点通过高速网络互连，中央控制系统中节点与共享存储中节点通过高速网络互连；共享存储中节点根据中央控制系统中节点的命令向计算集群系统中节点发送计算任务数据；

（3）、计算集群系统中节点负责计算任务，计算集群系统中节点内有多个同型号的GPU处理器进行计算；可以提高计算的并行度，提高单节点的计算能力，同时同型号的GPU易于计算任务的划分；

（4）、中央控制系统的节点或者是计算集群系统的节点内的本地存储，用于缓存本地所必要的数据；

（5）、共享存储中节点存储计算集群系统中节点所需要的计算数据和计算结果数据，通过高速网络向计算集群系统中节点发送计算数据；同时共享存储中节点采用主存储和备份存储的存储方式，保证了数据的安全性。

一种高效动态负载均衡的处理大规模数据的方法，中央控制系统中节点收集所有计算集群系统中节点的计算能力信息，中央控制系统中节点将计算数据动态的划分，并命令共享存储中节点将计算数据发送给选中的计算集群系统中节点；共享存储中节点根据中央控制系统中节点的命令首先将计算数据以数据块为单位进行划分，然后将不同数量的数据块动态的发送给对应的计算集群系统中节点；计算集群系统中节点接收共享存储中节点发送来的计算数据，并将计算结果数据传输给中央控制系统中节点，中央控制系统中节点将接收到的计算结果统一处理后存储到共享存储中节点。

计算集群系统中节点在接收下一个数据块的同时，计算当前的数据块，同时发送上一个已经计算完成的数据块。

一种高效动态负载均衡的处理大规模数据的方法，处理大规模数据的系统的工作流程为：