[发明专利]一种用于大数据环境下可支持多格式特性的数据空间检索方法

说明书

技术领域

本发明涉及一种用于大数据环境下可支持多格式特性的数据空间检索方法。

背景技术

数据空间数据具有多样化特征，它包含结构化、半结构化和非结构化数据，如关系元祖、XML、Word文档、Email、视频、音频等数据，这种特征导致迫切需要一种支持多种类型的查询方式，因此其索引技术就显得尤为关键。一方面，与搜索引擎和传统数据集成技术不同的是，数据空间索引技术需索引多种类型数据，而不是为每种类型建立一种索引；另一方面，与传统搜索引擎、XML引擎、数据库查询不同的是，不再是侧重于某种类型数据的查询，而是灵活地支持多种不同程度结构的查询，如关键词查询、谓词查询、路径查询等。

随着互联网的飞速发展，数据信息呈现爆炸式增长，每年至少上亿TB的新数据产生，面对这种大数据环境，其索引效率的高低，直接决定数据空间数据查询的性能好坏，因此，数据空间数据的索引效率十分关键。目前数据空间索引技术主要有Hybrid-ATIL索引、图索引、全文索引+副本，尽管这些索引技术很好地索引了多种类型数据，但是它们难以解决大数据环境下的数据空间索引连接效率低下的问题。针对该问题，本发明利用多级索引思想，设计出了一种针对大数据环境下的数据空间高效索引技术，从而提高查询性能。

发明内容

本发明的目的在于提供一种支持多种查询方式及索引多格式数据，能够减少大量连接操作的、高效的用于大数据环境下可支持多格式特性的数据空间检索方法。

本发明的目的是这样实现的：

一种用于大数据环境下可支持多格式特性的数据空间检索方法，包括：

1）用户输入查询内容；

2）判断用户查询类型，如果为关键词查询为关键词，则执行步骤3）；如果为谓词查询Q＝(v,{k_i})，v为属性，k_i为关键词，则转到步骤5）；如果为路径查询Q＝k1/..../k_i/...’/’表示层次路径，则转到步骤7）；

3）采用前缀扫描方式读取所建立的多级索引，获取k_i*，k_i*表示以关键词ki开始索引项，开头对应的链表结果分别记为表示索引中第j个包含k_i索引项所对应的文档列表，即posting；如果查询类型为关键词查询，则转到步骤4）；如果查询类型为路径查询，则转到步骤7）；

4）进行链表合并操作，即先对所有k_i开头的索引项对应的posting进行并操作，对所有关键词ki并后的结果进行交操作，同时出现所有关键词的文档列表；

5）查询重写为{k_i//v}；

6）遍历步骤1）所建立的多级索引，获取k_i//v对应的项，记为Lk_i//v表示索引项中k_i//v对应posting，L表示在属性中同时出现多个关键词ki的所有文档列表；

7）将k₁到k_n逆序压入栈中；

8）首先弹出栈顶中两个元素，记为k₁和k₂；

9）读取步骤1）所建立的多级索引，获取k₁的B-树索引和k₂的H索引，分别记为关键词k₁对应资源视图编号为元素构成的的B树索引和关键词k₂对应的H索引；

10）根据索引链表右连接方案，连接和结果记为生成的临时B树，初始为空，即对中每个主键来说，如果在中能够发现，则把对应项C＝{c_i}中所有元素插入到B_temp中；

11）如果栈不为空，则转到步骤12）；否则，转到步骤14）中；

12）弹出栈顶元素k_i，读取步骤1）所建立的多级索引，获取k_i的H索引，记为按照步骤10）方法连接和B_temp，结果记为

13）转到步骤11）；

14）遍历B_temp或者L，输出满足条件的所有元素。

步骤3）所建立的多级索引的构建过程包括下述步骤：

A、在大数据环境下对数据空间构建多级索引；所述构建内容包括采用扩展倒排索引的主索引的构建与采用B-树与二级索引相结合的辅助索引的构建；扩展倒排索引负责支持大数据的关键词查询、谓词查询；B-树索引和二级索引则负责支持大数据的路径查询；