[发明专利]一种大量数据情况下的可靠即时检索方法及系统

摘要

本发明公开了一种大量数据情况下的可靠即时检索方法，包括以下步骤S1存储数据库配置信息；S2接受检索内容；S3将检索目标内容进行数据切分，形成切片数据；S4根据数据库配置信息的映射关系对切片数据进行查询解析，并计算切片数据的存储位置；S5将查询解析后的信息分发至数据库配置信息中对应的数据存储数据库；S6从对应的数据存储数据库提取需要检索的特征数据；S7将提取的特征数据进行归并。本方法具有快速、准确的特点在复杂海量数据中，将筛选后的目标内容，根据数据抽象模块进行切分，通过查询解析与分发模块，寻找对应数据，最后通过结果归并模块得出搜索结果。通过提高关系操作效率，满足大数据高并发读写需求。

主权项

一种大量数据情况下的可靠即时检索方法，其特征在于：包括以下步骤：S1：存储数据库配置信息；所述数据库配置信息包括各数据类型、用于实现数据与类型映射的类标识、类型与存储介质映射关系；S2：接受查询内容；S3：将检索目标内容进行数据切分，形成切片数据；S4：根据数据库配置信息的映射关系，对切片数据进行查询解析，计算切片数据的存储位置；S5：将查询解析后的信息分发至数据库配置信息中对应的数据存储数据库；S6：从对应的数据存储数据库提取符合检索条件的特征数据；S7：将提取的特征数据进行归并；所述信息分发包括以下步骤：S51：预分发过程，将存在过滤条件的数据分发至特定的物理数据库，并按照MapReduce方式处理；S52：其余未执行的查询过程会被分发至其他计算节点，并由多个计算节点并行完成剩余的数据处理流程；所述数据切分包括以下步骤：S31：将检索目标内容按类别进行分类，并将不同的类分别以不同的表分布于不同的、互相独立且相互间不存在通信过程的物理数据库中；判断类的数据量是否超过内存的大小，如果否，则使用快速排序算法对不同的类进行排序，并将结果按顺序输出；S32：如果是，则改变切分粒度，使得映射出来的块数可以全部被容纳在内存之后；再次进行上述S31开始的步骤；在步骤S4后还包括以下步骤：S41：建立用于存储子表特征信息的查询缓存，并存储子表各个字段的特征信息；S42：对数据的查询操作，可根据查询条件，判断子表的值域与查询条件是否重叠，若不重叠，则无需对子表进行转发；若重叠，则对子表进行转发，并传至结果归并模块。