[发明专利]一种面向异构计算的分布式大数据系统的硬件架构

摘要

本发明涉及一种面向异构计算的分布式大数据系统的集群硬件架构。本发明主要包括：通过存储节点构建分布式文件系统对数据I/O操作进行专门处理，提供高达18TB的磁盘阵列进行冗余数据存储，提高数据安全和系统稳定性；通过管理节点处理用户提交的数据和计算任务，并均衡分配给计算节点上的各计算设备进行处理，通过CUDA或OpenGL异构编程模型充分利用GPU的高浮点运算能力；采用专用高速网络InfiniBand连接各节点，并通过CUDA-awareMPI和GPUDirect技术根据网络通信条件，智能化地利用优化的数据通信路径进行消息的发送和接收；通过集群渲染节点规约各节点的结果，并形成最终的结果通过OpenGL进行绘制形成可视化输出。通过将异构计算、分布式计算以及数据可视化结合在一起，充分利用GPU的计算能力和图形处理能力，构建了一种面向异构计算的分布式大数据系统的集群硬件架构。

主权项

一种面向异构计算的分布式大数据系统的硬件架构，其特征在于：该硬件架构包括5台服务器、磁盘阵列存储器、千兆以太网交换机以及InfiniBand网络交换机，如图1所示；其中服务器1作为该架构的管理节点，服务器2和服务器3为两台高性能计算节点，服务器4为集群渲染节点，服务器5作为该架构的存储节点；消息交换协议单元包括以太网交换机和InfiniBand交换机，并有多协议通讯单元、消息交换协议单元和消息交换单元组成，支持GPUDirect和RDMA；每个分布节点启动时，该分布节点的消息交换协议单元向消息交换机注册，节点通过MPI利用优化的数据通信路径进行消息的发送和接收，最小化数据移动量。