[发明专利]一种大量数据情况下的可靠即时检索方法及系统

说明书

技术领域

本发明涉及计算机信息管理系统领域，特别涉及一种大量数据情况下的可靠即时检索方法及系统。

背景技术

现有检索方法核心主要还是使用遍历的思想，在遍历的基础上，针对搜索目标范围做了不同程度的改进，主要使用以下几种检索方法：

根据用户的工作环境、任务、常用程序和关注焦点，利用非侵入方式的代理软件的监视来实现即时信息检索；

对网页中的关键字进行即时检索的方法：在向客户端加载网页的同时，加载对网页内容进行关键字检索的脚本程序，实时监视接收鼠键操作，等待查询；

基于多协同的即时信息检索框架模型：将双基协同、多代理协同、多向量协同用于即时信息检索，并增加缓冲知识库，考虑在代理通信和检索中利用兴趣向量和结果向量；

基于Web的面向主题的知识检索方法：以开放动态的Web信息为基础，以用户选定的主题为中心，构成与用户主题相关的知识检索结果；

分布式、分散式数据检索方法：分散请求用于数据检索的带宽，分散计算环境；

基于稀疏哈希的大数据检索方法：对大数据检索的时间复杂度为线性，解决流形学习无显式函数的问题，降低大数据的存储量。

这些技术存在的问题：首先不完全适用于对大量数据的检索应用；其次，每个方法各有长短，但是其短处在大数据背景下被放大，不能有效地实现即时可靠的检索，所述最后一种方法，也只是在一定程度上降低了存储量，并未显著达到大数据搜索的快速可靠的要求。

在大数据时代，传统数据查询方法在搜索数据时费时较多并且可能会对信息有遗漏。

因此需要一种大量数据情况下的可靠即时检索方法及系统。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种大量数据情况下的可靠即时检索方法及系统。

本发明的目的之一是提出一种大量数据情况下的可靠即时检索方法；本发明的目的之二 是提出一种大量数据情况下的可靠即时检索系统。

本发明的目的之一是通过以下技术方案来实现的：

本发明提供的一种大量数据情况下的可靠即时检索方法，包括以下步骤：

S1：存储数据库配置信息；所述数据库配置信息包括各数据类型、用于实现数据与类型映射的类标识、类型与存储介质映射关系；

S2：接受查询内容；

S3：将检索目标内容进行数据切分，形成切片数据；

S4：根据数据库配置信息的映射关系，对切片数据进行查询解析，计算切片数据的存储位置；

S5：将查询解析后的信息分发至数据库配置信息中对应的数据存储数据库；

S6：从对应的数据存储数据库提取符合检索条件的特征数据；

S7：将提取的特征数据进行归并。

进一步，所述信息分发包括以下步骤：

S51：预分发过程，将存在过滤条件的数据分发至特定的物理数据库，并按照MapReduce方式处理；

S52：其余未执行的查询过程会被分发至其他计算节点，并由多个计算节点并行完成剩余的数据处理流程。

进一步，所述数据切分包括以下步骤：

S31：将检索目标内容按类别进行分类，并将不同的类分别以不同的表分布于不同的、互相独立且相互间不存在通信过程的物理数据库中；

判断类的数据量是否超过内存的大小，如果否，则使用快速排序算法对不同的类进行排序，并将结果按顺序输出；

S32：如果是，则改变切分粒度，使得映射出来的块数可以全部被容纳在内存之后；再次进行上述S31开始的步骤。

进一步，在步骤S4后还包括以下步骤：

S41：建立用于存储子表特征信息的查询缓存，并存储子表各个字段的特征信息；

S42：对数据的查询操作，可根据查询条件，判断子表的值域与查询条件是否重叠，若不重叠，则无需对子表进行转发；

若重叠，则对子表进行转发，并传至结果归并模块。

进一步，所述特征数据进行归并采用MapReduce并行数据处理；所述MapReduce并行数据处理包括Map过程和Reduce过程；

所述Map过程将数据按照一定的方式划分为多个组，每个组在不同的主机上分别并行地进行处理；

所述Reduce过程是将各个节点上计算的结果进行汇总，形成统一的结果。

本发明的目的之二是通过以下技术方案来实现的：

本发明提供的一种大量数据情况下的可靠即时检索系统，包括数据抽象模块、查询解析和分发模块、数据存储模块、结果归并模块；