[发明专利]一种高效动态负载均衡的处理大规模数据的系统及方法

权利要求书

1.一种高效动态负载均衡的处理大规模数据的系统，其特征在于为CPU与GPU混合异构集群系统，包括中央控制系统、计算集群系统、存储系统、高速网络；中央控制系统中节点采用CPU与GPU混合异构架构；计算集群系统中节点采用CPU与GPU混合异构架构或采用CPU架构；存储系统分共享存储和本地存储，共享存储中节点采用CPU架构，本地存储设置在中央控制系统的节点以及计算集群系统的每个节点中，共享存储分为主存储和备份存储，主存储和备份存储作为冗余存储、存储相同的计算数据，本地存储用于存储所在的中央控制系统的节点或者是计算集群系统的节点的数据；高速网络用于将中央控制系统中节点、计算集群系统中节点、共享存储中节点互相连接，组成集中式的处理大规模数据的系统。

2.　根据权利要求1所述的一种高效动态负载均衡的处理大规模数据的系统，其特征在于中央控制系统中节点控制计算集群系统中节点、存储系统中节点。

3.根据权利要求1所述的一种高效动态负载均衡的处理大规模数据的系统，其特征在于中央控制系统中节点设置有1个，共享存储中节点设置有至少1个，计算集群系统中节点设置有至少2个。

4.一种高效动态负载均衡的处理大规模数据的方法，其特征在于采用权利要求1-3中任意一种处理大规模数据的系统，对大规模数据进行处理，包括如下步骤：

（1）、中央控制系统中节点通过高速网络与所有计算集群系统中节点相互连接，中央控制系统中节点控制各个计算集群系统中节点，中央控制系统中节点动态的分配计算任务给计算集群系统中节点，中央控制系统中节点接收计算集群系统中节点的返回结果；

（2）、计算集群系统中节点与共享存储中节点通过高速网络互连，中央控制系统中节点与共享存储中节点通过高速网络互连；共享存储中节点根据中央控制系统中节点的命令向计算集群系统中节点发送计算任务数据；

（3）、计算集群系统中节点负责计算任务，计算集群系统中节点内有多个同型号的GPU处理器进行计算；

（4）、中央控制系统的节点或者是计算集群系统的节点内的本地存储，用于缓存本地所必要的数据；

（5）、共享存储中节点存储计算集群系统中节点所需要的计算数据和计算结果数据，通过高速网络向计算集群系统中节点发送计算数据；同时共享存储中节点采用主存储和备份存储的存储方式。

5.根据权利要求4所述的一种高效动态负载均衡的处理大规模数据的方法，其特征在于中央控制系统中节点收集所有计算集群系统中节点的计算能力信息，中央控制系统中节点将计算数据动态的划分，并命令共享存储中节点将计算数据发送给选中的计算集群系统中节点；共享存储中节点根据中央控制系统中节点的命令首先将计算数据以数据块为单位进行划分，然后将不同数量的数据块动态的发送给对应的计算集群系统中节点；计算集群系统中节点接收共享存储中节点发送来的计算数据，并将计算结果数据传输给中央控制系统中节点，中央控制系统中节点将接收到的计算结果统一处理后存储到共享存储中节点。

6.根据权利要求5所述的一种高效动态负载均衡的处理大规模数据的方法，其特征在于计算集群系统中节点在接收下一个数据块的同时，计算当前的数据块，同时发送上一个已经计算完成的数据块。

7.根据权利要求4所述的一种高效动态负载均衡的处理大规模数据的方法，其特征在于处理大规模数据的系统的工作流程为：

①、中央控制系统中节点负责收集各个计算集群系统中节点的GPU卡的数量，根据各计算集群系统中节点不同的卡数量，生成各个计算集群系统中节点的计算能力信息，将此计算能力信息发送给共享存储中节点；计算能力信息包括每个计算集群系统中节点GPU卡的数量，高速网络的通信能力，GPU卡的计算能力；

②、共享存储中节点根据中央控制系统中节点发送的计算能力信息，首先将数据分为合适的可发送的基本的数据块，然后为各计算集群系统中节点分配对应数量的计算数据块，再将数据块动态的发送给计算集群系统中节点；

③、计算集群系统中节点接收数据进行计算同时，若传输数据的较快而计算未完成，可将计算数据暂存储到本地存储中，若没有数据传输时，则从本地存储中获取，若本地也没有则需等待；

④、计算集群系统中节点完成计算数据块的同时即可将计算的结果发送给中央控制系统中节点，若传输繁忙则可先将数据暂存于本地存储中，等待网络空闲时再将其发送给中央控制系统中节点；

⑤、中央控制系统中节点将接收到的各个计算集群系统中节点的计算结果，进行必要的处理操作，然后发送给共享存储中节点，在计算期间中央控制系统中节点定时的收集计算集群系统中节点的必要的信息缓存到本地存储并存储到共享存储中节点。