[发明专利]分布式混合架构的海量数据处理和可视化系统及方法

说明书

技术领域

本发明涉及一种海量数据处理和可视化系统，特别是关于一种分布式混合架构的海量数据处理和可视化系统及方法。

背景技术

随着各种图像获取设备硬件技术和成像手段的不断发展，所获得数据的空间分辨率越来越高，同时采集的数据从静态的三维标量场向动态的四维标量场的转变，使得设备获取的数据量急剧上升，数据量庞大，给传统的标量场数据处理和可视化方法带来了严峻的挑战，对于一些复杂的可视化方法，要获得实时交互的处理速度尤其困难。近年来，针对海量数据的处理和可视化方法的研究主要集中在三个方面：1、设计高效的外存算法对海量数据进行处理。外存算法主要采用两种计算模式：一种是“批处理计算模式”，若处理过程中对原始数据的访问是有序的或者能够通过某种方式转化成有序访问，则适合用此种计算模型；另一种是“在线计算模型”，其基本出发点是将海量原始数据进行分块处理，使分块后的数据能够载入内存，同时将分块后的数据组织成便于高效检索的结构，在计算时可直接通过查询操作取得所需数据。2、采用各种并行技术对海量数据进行处理。并行技术是对海量数据进行高效处理和可视化的关键技术之一，这项技术通过加入大量的硬件计算单元对海量数据进行同步并行处理。这类方法主要采用MPI(Message Passing Interface，消息传递接口)或者分布式的计算模式在大范围的联网硬件平台上实现对海量数据的快速处理。3、基于图形处理单元(GPU)的并行能力设计高效的海量数据可视化算法。高性能的GPU具有强大的浮点运算能力和灵活的编程接口，基于其强大的并行处理特性，GPU有望成为未来高性能浮点运算的有力工具。海量标量场数据处理和可视化领域，目前缺乏一个技术成熟，目标明确，方便可用的海量数据处理和可视化系统，以ParaView为代表的大型软件虽然数据处理和可视化功能较为强大，但由于其采用分布式存储和计算的模式，基于MPI实现计算节点之间的协同工作，导致计算节点配置复杂，对计算节点本身以及网络传输的可靠性要求较高，不利于构建稳定可靠的分布式海量数据处理和可视化系统。

发明内容

针对上述问题，本发明的目的是提供一种高效、稳定、可靠、交互性能好的分布式混合架构的海量数据处理和可视化系统及方法。

为实现上述目的，本发明采取以下技术方案：分布式混合架构的海量数据处理和可视化系统，其特征在于，它包括一前端工作站、一数据存储中心、若干计算节点和一套网络设备；所述前端工作站是高性能图形工作站，用于对海量数据的实时显示和交互操作，同时管理网络中可供使用的所述计算节点，向所述计算节点发布计算任务；所述数据存储中心是高速磁盘阵列，用于存储海量原始数据，并提供对海量数据的高速共享和读写访问；所述计算节点是具备计算能力的硬件设备，其采用分布式并行的方式运行耗时的海量数据处理算法；所述网络设备包括一千兆或万兆以太网交换机，用于构建高速骨干网络；一路由器，用于和外网存在的所述计算节点建立通信链路；支持千兆或万兆传输速率的高速网线；所述前端工作站、数据存储中心和计算节点用高速网线连接到所述以太网交换机，构成高速骨干网，同时，所述骨干网通过一路由器和防火墙与外部网络相连，用于与分布在不同物理位置的所述计算节点建立通信链路。

所述前端工作站配备有高性能的CPU、GPU、大容量高速内存，以及至少一块千兆或万兆高速以太网卡。

所述数据存储中心至少配备一块千兆或万兆高速以太网卡。