[发明专利]大规模数据处理系统及方法

摘要

本发明公开了一种大规模数据处理系统和方法，应用于中央处理器与图形处理器混合异构集群，包括至少一个共享存储节点、一个控制节点和多个计算节点，通过高速网络将所述共享存储节点、控制节点和多个计算节点相连接，由控制节点对数据包中的基本数据块进行统筹规划分配给各计算节点，使得各计算节点的负载均衡，由各计算节点直接从共享存储节点中读取相应的基本数据块进行计算，并返回计算后的结果给控制节点，优化了数据传输过程，缩短了计算时间，从而最大限度的利用现有系统的性能，使得整个系统效率大幅提升，不需受限于网络带宽不足、内存容量小等情况，满足了高性能应用对于大规模数据进行处理的要求。

主权项

一种大规模数据处理系统，应用于中央处理器与图形处理器混合异构集群，其特征在于，包括：至少一个共享存储节点、一个控制节点和多个计算节点，所述共享存储节点、控制节点和多个计算节点通过高速网络相互连接；其中，所述共享存储节点用于存储所有需要处理的数据包，所述数据包由多个基本数据块组成；所述控制节点用于给各所述计算节点分配计算任务，接收各所述计算节点计算后的结果；所述计算节点用于根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算，发送计算后的结果给所述控制节点；其中，所述控制节点用于给各所述计算节点分配计算任务之前，还用于：确定各所述计算节点的数据处理能力，所述数据处理能力包括：各所述计算节点包含的GPU设备的数量、网络通信的能力和计算数据的能力；所述控制节点包括：至少一个CPU设备、多个GPU设备和本地存储模块；其中，所述CPU设备用于给各所述计算节点分配计算任务，包括：根据各所述计算节点的数据处理能力确定相应的计算任务，分别发送命令参数给各所述计算节点的CPU设备，所述命令参数包含各所述计算节点需要计算的所述基本数据块的数量和寻址信息；所述GPU设备用于接收各所述计算节点计算后的结果，包括：接收各所述计算节点内所有GPU设备计算后的结果，将计算后的结果通知给所述控制节点内的其他GPU设备；所述本地存储模块用于存储所述命令参数和各所述计算节点计算后的结果。