[发明专利]基于地震数据处理的分布式文件管理系统

摘要

本发明公开了一种基于地震数据处理的分布式文件管理系统，包括数据读写接口、文件管理服务器和通信模块，通信模块提供收发消息的接口供数据读写接口和文件管理服务器使用。本发明的积极效果是：采用分布式文件系统的原理，自动完成文件的分片和管理，以实现高速的并行I/O，并提供简洁高效的文件管理。用户只需简单地调用相应的接口就可以完成对数据的各种操作，而且完全由程序自动完成对文件的分片和管理而无需人工的介入。解决了在集群环境下，多个计算节点访问统一磁盘阵列上同一文件的竞争冲突问题；通过使文件分片的方法从根本上避免了由于文件系统对文件的加锁保护而造成的I/O性能大幅下降的问题。

主权项

一种基于地震数据处理的分布式文件管理系统，其特征在于：包括数据读写接口、文件管理服务器和通信模块，通信模块提供收发消息的接口供数据读写接口和文件管理服务器使用，其中：所述数据读写接口的结构包括业务逻辑层、文件读写模块、文件拼合模块和本地文件信息缓存，实现如下功能：(1)初始化存储文件；(2)获取文件分片信息；(3)获取完整的原始数据文件；(4)删除/更新文件；所述文件管理服务器的结构包括业务处理层、地震数据分割模块、文件存储模块、数据库读写接口和分片管理模块，实现如下功能：(1)按照地震数据的特定的格式对大数据进行分片，确保每个分片都包含完整的地震数据单元；(2)对加入的初始文件进行分片存储；(3)将文件分片信息写入数据库；(4)为数据读写接口提供文件分片信息；所述通信模块的结构包括文件管理服务器信息查询模块、消息序列化模块、Socket管理器和TCPSocket/UDPSocket，实现如下功能：(1)提供当前文件服务器运行节点的网络信息；(2)提供发送、接收消息的接口；(3)提供序列化、反序列化的能力；所有的公共文件都存放在磁盘阵列中；所述获取文件分片信息为：1)用户调用获取分片接口、指定文件名和欲获取的分片范围；2)数据读写接口将用户的请求封装为消息，通过通信模块发往文件管理服务器；3)文件管理服务器接收到消息，对消息进行解析，获得请求参数；4)分片管理模块通过数据库读写接口从数据库中读出相应的文件分片信息；5)文件管理服务器将取得的信息发回到数据读写接口；6)数据读写接口根据收到的文件分片信息由文件读写模块读出一个或多个分片，通过用户接口将数据返回给用户。