[发明专利]一种低成本高光谱海量数据并行处理系统

说明书

技术领域

本发明涉及一种低成本高光谱海量数据并行处理系统，用于高光谱海量 数据的快速处理，特别适用于对时效性要求较高的应用场合，属于高光谱数 据处理与应用技术领域。

背景技术

随着传感器空间分辨率、光谱分辨率的不断提高，高光谱遥感显示了其 它遥感手段无法比拟的技术优势，它既对目标成像、又可以测量目标波谱特 征，实现目标特性的综合探测与识别，大大扩宽了遥感技术的应用领域。但 高光谱数据波段多、数据量大，处理系统的计算效率成为制约高光谱载荷有 效应用的瓶颈。如对环境建模与评估、军事目标探测、森林火灾监测、生物 危机监测、化学污染和石油井喷监控，这些应用领域对系统响应时间非常敏 感，对处理系统的计算效率提出了非常高的要求。

并行计算技术发展至今，已成功解决部分数据密集型场合的应用问题， 在高光谱海量数据处理领域也取得了初步成果，但仍存在以下三方面的缺 陷。首先，传统处理系统多采用对称多处理器(Symmetric Multiple Proc- essor，SMP)、大规模并行处理机(Massively Parallel Processor，MPP) 架构，这类系统技术起点高、使用难度大、成本高，不适合技术、资金较薄 弱的部门使用。其次，海量数据处理对系统存储模块的性能要求较高，多采 用网络接入存储(Network Access Server，NAS)或存储区域网络(Storage Area Network，SAN)解决，由于NAS和SAN包含光纤、小型计算机系统 接口(Small Computer Systems Interface，SCSI)硬盘等高端设备，进一 步提高了系统的使用门槛。最后，高端处理系统多使用商业软件，购买各种 软件不仅费用高，且使用、维护难度大，对使用者的专业技能要求较高。针 对上述问题，本发明提出一种低成本高光谱海量数据并行处理系统。

发明内容

本发明的目的在于提供一种低成本高光谱海量数据并行处理系统，以克 服现有高光谱数据处理系统成本过高的缺点，构建一种低成本、高计算效率、 高I/O带宽的高光谱海量数据并行处理系统。

本发明的技术解决方案是：一种低成本高光谱海量数据并行处理系统， 由前端服务器、计算服务器、存储服务器、内部交换网络、外部交换网络、 键盘/显示器/鼠标切换器(即KVM切换器)、终端组成。其中，内部交换 网络为千兆以太网，连接前端服务器、计算服务器和存储服务器；外部交换 网络为百兆以太网，用户通过外部交换网络与前端服务器连接，用户经该外 部交换网络登录系统、传输数据；两套终端监视系统运行状态，计算服务器 和存储服务器通过键盘/显示器/鼠标切换器(即KVM切换器)共享一套终 端。

系统采用Beowulf集群架构，前端服务器、计算服务器、存储服务器内 各节点为个人电脑(PC)，并通过并行虚拟文件系统(Parallel Virtual File System，PVFS)实现数据的并行访问。

用户通过安全外壳协议访问前端服务器(5)，使用文件传输协议与存储 服务器(6)进行数据传输。

前端服务器安装并行虚拟文件系统元数据服务(Metadata Server，mgr) 进程，存储服务器安装并行虚拟文件系统数据服务(I/O Server，iod)进程， 计算服务器安装并行虚拟文件系统库(Parallel Virtual File System Native API，Iibpvfs)，前端服务器mgr进程生成数据索引目录，计算服务器通过 libpvfs与mgr进程交互，获取数据分布信息，然后与存储服务器iod进程建 立连接，读写远程数据。

软件系统基于Rocks软件包，实现并行计算、资源监测和作业管理功能。 首先在前端服务器上安装Rocks软件系统各功能模块，然后通过KickStart 实现计算服务器、存储服务器操作系统和软件的自动化安装。计算服务器和 存储服务器通过简单文件传输协议(Trivial File Transfer Protocol，tftp)从 前端服务器获取安装配置文件，然后经网络文件系统(Network File System， NFS)下载软件包，安装结束后，计算服务器和存储服务器的信息被写入系 统数据库。