[发明专利]地震数据索引库的构建方法、装置、相关设备和索引库

说明书

本发明公开了一种地震数据索引库的构建方法、装置、相关设备和索引库，该方法可以包括：对获取的地震数据中包括的道头数据进行抽样预测，以生成道头关键字与分布式节点的节点分配模型；基于节点分配模型，所有节点并行对其匹配的地震数据中的数据块中包括的道头数据进行关键字提取，以关键字和道号作为索引项，并基于索引项生成每个节点匹配的数据块对应的索引文件；基于索引文件包括的索引项以及索引项在索引文件中的偏移量，构建地震数据的索引库。本发明充分利用分布式并行模式提高索引构建效率，使用一种新型索引结构以实现地震数据索引的快速构建和快速查找与读取，且不限定关键字数量。

技术领域

本发明涉及计算机以及大数据处理技术领域，特别涉及一种地震数据索引库的构建方法、装置、相关设备和索引库。

背景技术

地震数据处理是石油勘探行业中的重要技术，其作用是能够根据特定的处理算法对野外采集的地震数据进行处理和计算，从而得出地下地质结构的图像，用于指导后续的钻井、石油开采等工作。随着新的勘探技术和高精度的采集技术在石油勘探中不断得到应用，从野外采集到的原始地震数据量增长迅速，目前单个数据体的规模已经超过PB级别，其地震道数可达千亿条。

地震应用程序处理的对象是通常就是这样一个庞大的地震数据体，地震数据体在逻辑上类似于关系型数据库中的数据表，是按照行的顺序进行组织的，每一行记录称为一个地震道。地震道由道头和道体两部分组成。其中道头中存储了与该地震道相关的属性信息，包括：炮点坐标、检波点坐标、采样点数、炮号、道号等信息，每个属性称为一个道头关键字。道体是一个浮点数组，每一个浮点数称为一个采样点。同时地震数据体是高维度结构化的数据，每个地震道都拥有上百种属性信息，存放在不同的道头关键字中。

然而，大量的交互式地震应用程序在访问地震数据体时，通常只对该地震数据体的部分数据集感兴趣。因此，大量的地震数据访问会对部分属性的取值范围进行指定，以过滤筛选出特定的数据集，同时还可能会指定以某些属性的顺序来决定查询结果的排序方式。

由于多维度范围查询是地震应用程序中最常见的数据查询模式，其查询速度对地震应用程序，尤其是交互式应用程序的性能以及用户使用体验至关重要。高效的索引查询是保证查询效率，降低地震数据查询延迟的基础。B+树索引作为一种为磁盘或者其他直接存取的辅助存储设备而设计的平衡搜索树，能够有效降低查询时的磁盘I/O操作数。并且由于B+树能够支持沿叶子节点的快速范围扫描，因此具有比较好的范围查询性能。

发明内容

但是，发明人发现传统的B+树构建方法是将每一条记录插入空树中，其过程会包含很多复杂的操作，如节点的分裂、旋转等。对于千亿道无序数据，这种传统构建方法的开销是巨大的，且很难进行多机并行化构建，在多线程环境下的加速比也比较有限。同时，如果将每一道数据都存入B+树中，最终树的规模也将是巨大的，查找时依然会面临效率低下的问题。此外，使用B+树仅能对单一关键字进行查找，在多关键字范围查找时，需要先查询符合第一关键字条件的全部数据，再对后续关键字进行筛选，这会导致查找效率大幅降低。因此，针对海量地震数据，需要设计一种不同于传统B+树结构的分布式索引构建方法，以提高索引构建效率、加速比、可扩展性以及查询效率。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种地震数据索引库的构建方法、装置、相关设备和索引库。

第一方面，本发明实施例提供了一种地震数据索引库的构建方法，可以包括：

对获取的地震数据中包括的道头数据进行抽样预测，以生成道头关键字与分布式节点的节点分配模型；

基于所述节点分配模型，所有所述节点并行对其匹配的地震数据中的数据块中包括的道头数据进行关键字提取，以所述关键字和道号作为索引项，并基于所述索引项生成每个节点匹配的数据块对应的索引文件；

基于所述索引文件包括的索引项以及所述索引项在所述索引文件中的偏移量，构建所述地震数据的索引库。