[发明专利]一种基于MongoDB和Solr的海量数据存储及快速检索方法

说明书

本发明公开了一种基于MongoDB和Solr的海量数据存储及快速检索方法，对于非结构化数据的存储，调用MongoDB数据库存储非结构化数据，并创建其对应的MongoDB资源信息唯一编码，同时，还调用Solr创建该非结构化数据的索引信息，并将该非结构化数据的索引信息和MongoDB资源信息唯一编码存储至Solr的索引库中；对于非结构化数据的快速检索，先根据查询语句在Solr的索引库中进行查找，查找出与该查询语句相对应的非结构化数据的索引信息和MongoDB资源信息唯一编码；再在MongoDB数据库中查找出该MongoDB资源信息唯一编码所对应的非结构化数据。本发明满足了日常业务中各种非结构化数据存储及快速检索的需求，实现了海量的非结构化数据的快速检索以快速获取所需要的信息。

技术领域

本发明涉及大数据快速检索的技术领域，尤其是一种基于MongoDB和Solr的海量数据存储及快速检索方法。

背景技术

随着计算机信息技术的发展及大数据的应用，在我们的日常生活中充斥着越来越多的数据，例如，对于公安机构而言，利用城市视频监控资源侦破案件并形成各种案件的资料信息，积累了海量的如图片、视频等非结构化数据。因此，如何从这些海量的非结构化数据中快速获取所需要的信息成为当前海量数据检索的一个热点及难点问题。

经检索，中国专利公开号为CN106682148A公开了一种基于Solr数据搜索的方法及装置，该专利中提出：选用Hbase或MongoDB的底层存储数据库，并根据记录的字段生成rowkey；在查询数据时，根据Solr创建后的索引从底层存储中获取对应的数据。

采用该专利所提出的方法是可以对数据进行存储和检索，该方法是直接用Solr创建的索引在底层存储数据库中进行检索，并对JVM内存及Solr的内存配置、磁盘占用和事务日志等方面进行优化，实现大数据的检索。但是，由于JVM内存及Solr的内存配置、磁盘占用和事务日志等相关内容本身就相对繁琐复杂，针对海量数据时，对这些方面的优化需要经过反复试验，不易操作实现。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种基于MongoDB和Solr的海量数据存储及快速检索方法，满足了日常业务中各种非结构化数据存储及快速检索的需求，实现了海量的非结构化数据的快速检索以快速获取所需要的信息。

为实现上述目的，本发明采用以下技术方案，包括：

一种基于MongoDB和Solr的海量数据存储及快速检索方法，对于非结构化数据的存储，包括以下具体步骤：

S101，获取到非结构化数据后，调用MongoDB数据库存储该非结构化数据的信息，即将该非结构化数据存储至MongoDB数据库中，并为该非结构化数据创建与其对应的MongoDB资源信息唯一编码；

且每一个非结构化数据均对应一个MongoDB资源信息唯一编码；

S102，调用Solr创建该非结构化数据的索引信息，并将该非结构化数据的索引信息和MongoDB资源信息唯一编码存储至Solr的存储空间即索引库中；

对于非结构化数据的检索，包括以下具体步骤：

S201，输入检索条件进行非结构化数据的检索，Solr根据该检索条件创建查询语句；

S202，Solr先根据该查询语句在Solr的索引库中进行查找，查找出与该查询语句相对应的非结构化数据的索引信息，以及该索引信息所对应的MongoDB资源信息唯一编码；

S203，再根据该对应的MongoDB资源信息唯一编码在MongoDB数据库中进行查找，查找出该MongoDB资源信息唯一编码所对应的非结构化数据的信息。

步骤S101中，调用MongoDB的API接口存储非结构化数据的信息；步骤S203中，调用MongoDB的API接口获取非结构化数据的信息。