[发明专利]一种提高地震数据存储IO性能的方法及装置

说明书

本发明提供了一种提高地震数据存储IO性能的方法及装置。所述方法通过在地震数据处理计算机集群的各计算节点内存中构建虚拟磁盘用于存储地震数据，并对多个计算节点的内存虚拟磁盘进行分组，建立数据对象‑虚拟磁盘映射链表，实现地震数据存储IO性能的提高。所述装置包括虚拟磁盘划分模块、虚拟磁盘分组模块、映射关系构建模块、目标数据查询模块以及虚拟磁盘管理模块。根据本发明的方法和装置能够有效的增大存储服务器端缓存空间，减少存储服务器的带宽负载，提高地震数据存储IO性能。

技术领域

本发明涉及石油地震勘探资料数据存储领域，更具体地讲，涉及一种提高地震数据存储IO性能的方法及装置。

背景技术

当前的石油天然气地震勘探工作中，由于可控震源高效采集技术的推广应用和高密度三维地震勘探的迅速发展，地震观测采样精度越来越高，采集的数据越来越大，采集获得的数据量呈几何指数增长，从50TB到上百TB甚至更大。多业务的并发应用规模对于地震数据存储的访问频率越来越高，大量的并发应用和海量的数据读写访问所产生的I/O(输入/输出，Input/Output)负载成为数据存储的短板。目前，虽然在地震数据处理存储领域引入的面向对象的并行文件系统在一定的程度上提高了存储的性能，但是还存在如下的缺陷：

(1)在地震数据处理计算机集群中，所有I/O节点都要为多个计算节点提供I/O服务，在同一时刻，每个I/O节点需要响应来自多个进程的I/O请求。一方面，I/O节点通常将数据存放在磁盘中，定位时间是磁盘访问时间中的重要部分，多个进程对磁盘的竞争读写导致对同一磁盘的访问请求是无序的、随机的，因而各个请求的定位时间可能会很长，磁头在各个请求之间作转换时移动范围很大，频繁的寻道降低了磁盘的输出带宽。另一方面，针对同一I/O节点的多个并发写请求会导致对写缓存资源的竞争，当缓存没有空间时，请求写的进程必须等待，只有当缓存有空间的时候，写操作才能继续进行。因此，当多个应用的并发I/O请求数量急剧增多、各个计算节点同时向存储服务器发出数据读写请求时，多个I/O请求会累积在存储服务器端，造成I/O请求冲突严重，存储服务器超负荷工作，磁盘组的读写聚合带宽不足。

(2)地震数据处理所采用计算机集群节点数量多，计算任务量大，重复读写的数据多，计算节点与存储服务器间的通信频繁，计算节点在任务结束后往往会等待I/O数据，限制了计算性能的发挥。

发明内容

针对现有技术中存在的不足，本发明的目的之一在于解决上述现有技术中存在的一个或多个问题。

为了实现上述目的，本发明的一方面提供了一种提高地震数据存储IO性能的方法，所述方法通过在地震数据处理计算机集群的各计算节点内存中构建虚拟磁盘用于存储地震数据，并对多个计算节点的内存虚拟磁盘进行分组，建立数据对象-虚拟磁盘映射链表，所述方法还包括以下步骤：在某个计算节点请求访问地震数据时，查询当前计算节点虚拟磁盘是否包含被请求地震数据，如果有，则响应当前请求，如果没有，则向存储服务器发送数据请求；存储服务器接收到数据请求后，查询存储服务器端的数据缓存，如果有，则响应当前请求，如果没有，则根据所述建立的数据对象-虚拟磁盘映射链表查询各组虚拟磁盘，如果有，则将数据请求转发给存储请求数据的虚拟磁盘组并响应当前请求，如果没有，则从存储磁盘中读取数据，节点将请求数据缓存至虚拟磁盘响应当前请求。

本发明的另一方面提供了一种提高地震数据存储IO性能装置，所述装置包括：虚拟磁盘划分模块，用于在地震数据处理计算机集群的各计算节点内存中划分虚拟磁盘；虚拟磁盘分组模块，用于对所划分的虚拟磁盘进行分组；映射关系构建模块，用于在存储服务器中构建数据对象-虚拟磁盘映射链表；目标数据查询模块，用于获取请求的地震数据；虚拟磁盘管理模块，用于执行存储服务器端发送的地震数据的缓存和回收的命令，申请和释放虚拟磁盘空间占用内存。