[发明专利]一种大量数据情况下的可靠即时检索方法及系统

权利要求书

1.一种大量数据情况下的可靠即时检索方法，其特征在于：包括以下步骤：

S1：存储数据库配置信息；所述数据库配置信息包括各数据类型、用于实现数据与类型映射的类标识、类型与存储介质映射关系；

S2：接受查询内容；

S3：将检索目标内容进行数据切分，形成切片数据；

S4：根据数据库配置信息的映射关系，对切片数据进行查询解析，计算切片数据的存储位置；

S5：将查询解析后的信息分发至数据库配置信息中对应的数据存储数据库；

S6：从对应的数据存储数据库提取符合检索条件的特征数据；

S7：将提取的特征数据进行归并；

所述信息分发包括以下步骤：

S51：预分发过程，将存在过滤条件的数据分发至特定的物理数据库，并按照MapReduce方式处理；

S52：其余未执行的查询过程会被分发至其他计算节点，并由多个计算节点并行完成剩余的数据处理流程；

所述数据切分包括以下步骤：

S31：将检索目标内容按类别进行分类，并将不同的类分别以不同的表分布于不同的、互相独立且相互间不存在通信过程的物理数据库中；

判断类的数据量是否超过内存的大小，如果否，则使用快速排序算法对不同的类进行排序，并将结果按顺序输出；

S32：如果是，则改变切分粒度，使得映射出来的块数可以全部被容纳在内存之后；再次进行上述S31开始的步骤；

在步骤S4后还包括以下步骤：

S41：建立用于存储子表特征信息的查询缓存，并存储子表各个字段的特征信息；

S42：对数据的查询操作，可根据查询条件，判断子表的值域与查询条件是否重叠，若不重叠，则无需对子表进行转发；

若重叠，则对子表进行转发，并传至结果归并模块。

2.根据权利要求1所述的大量数据情况下的可靠即时检索方法，其特征在于：所述特征数据进行归并采用MapReduce并行数据处理；所述MapReduce并行数据处理包括Map过程和Reduce过程；

所述Map过程将数据按照一定的方式划分为多个组，每个组在不同的主机上分别并行地进行处理；

所述Reduce过程是将各个节点上计算的结果进行汇总，形成统一的结果。

3.一种大量数据情况下的可靠即时检索系统，其特征在于：包括数据抽象模块、查询解析和分发模块、数据存储模块和结果归并模块；

所述数据抽象模块，用于存储数据库配置信息，所述配置信息包括数据与类型的映射、类与存储介质的映射；

所述查询解析和分发模块，接受应用程序发来的请求，对请求的数据库查询语句进行解析，并翻译成实际的数据库查询语句，转发至实际数据库中；用于根据数据库配置信息的映射关系，对切片数据进行查询解析，并计算切片数据的存储位置；查询解析后的信息分发至与数据库配置信息相对应的数据存储数据库；

所述数据存储模块，用于从对应的数据存储数据库提取需要检索的特征数据；

所述结果归并模块，用于将提取的特征数据进行归并，使下层复杂的模块化结构对上层用户透明；

所述查询解析和分发模块包括预分发单元和未执行查询执行单元；

所述预分发单元只将存在过滤条件的数据分发至特定的物理数据库，并在结果归并模块中，按照MapReduce方式处理；

所述未执行查询执行单元，用于将其余未执行的查询过程，分发至其他计算节点，并由多个计算节点并行完成剩余的数据处理流程；

所述查询解析和分发模块还包括数据切分单元和数据量判断单元；

所述数据切分单元，用于将检索目标内容进行分类，并将不同的类分别以不同的表分布于不同的、互相独立且相互间不存在通信过程的物理数据库中；

所述数据量判断单元，用于判断类的数据量是否超过内存的大小，如果否，则使用快速排序算法对不同的类进行排序，并将结果按顺序输出；如果是，则改变切分粒度，使得映射出来的块数可以全部被容纳在内存之后；并返回数据切分单元；

还包括查询缓存建立单元和查询操作单元；

所述查询缓存建立单元，用于建立用于存储子表特征信息的查询缓存，并存储子表各个字段的特征信息；

所述查询操作单元，用于对数据的查询操作；根据查询条件，判断子表的值域与查询条件是否重叠，若不重叠，则无需对子表进行转发；若重叠，则对子表进行转发传至结果归并模块。

4.根据权利要求3所述的大量数据情况下的可靠即时检索系统，其特征在于：所述结果归并模块采用MapReduce并行数据处理对特征数据进行归并；所述MapReduce并行数据处理包括Map过程和Reduce过程；所述Map过程将数据按照一定的方式划分为多个组，每个组在不同的主机上分别并行地进行处理；所述Reduce过程是将各个节点上计算的结果进行汇总，形成统一的结果。