[发明专利]一种实时大数据搜索引擎系统

说明书

本发明提供一种实时大数据搜索引擎系统，基于HTTP协议，运用Apache Lucene构建而成，其架构至少包括：采集各种格式的文档和数据的采集器；根据文档的分析处理结果创建对应索引的索引器；储存索引的索引库；集合带有索引的各文档的信息资源库；接收外界用户端输入的查询信息和返回查询结果的搜索器；进行检索工作的大数据内核。本发明实施例可实现实时流数据的全文搜索。

技术领域

本发明涉及互联网技术领域，尤其涉及一种实时大数据搜索引擎系统。

背景技术

随着信息化技术的发展，尤其是社交网络、移动互联、物联网、大数据应用的迅速崛起和普及，人类社会发展所产生的数据呈现爆炸式增长。如今全球每两天创造的数据就相当于自人类文明开始到 2003 年人类创造数据的总和，而且还在以每年 50％的速度增长。迅速膨胀的数据已经将人类带入到了崭新的“大数据”时代，数据已经成为与自然资源、人力资源同等重要的战略资源和生产要素。面对如此庞大的数据，如何从海量数据中快速获取需要的数据，并发掘需要的知识，是当今面临的一个挑战。

传统的网络应用系统架构，主要有C/S模式(或B/S)，S是指Server(服务器端)，B指Browser(浏览器端)，C指Client(客户端)，两者之间区别只在于主要业务逻辑是放在客户端还是放在服务器端。以C/S模式为例，客户端通过UI（操作界面）与用户交互产生的数据一般会通过网络方式提交给服务器进行业务处理，处理后的业务数据会存储在数据库或文件系统中，等待二次运用，比如数据查询、统计和数据挖掘等操作。该架构在大数据(通常指TB级的数据量)情况下，数据的分析处理瓶颈主要集中在数据库和文件系统的I/O，内存和CPU处理能力等，会导致系统响应太慢甚至无法响应，而且这种系统通常不具备可扩展性，增加存储和计算资源并不能提高其性能。

发明内容

本发明所要解决的技术问题在于，提供一种实时大数据搜索引擎系统，能很好实现实时流数据的搜索功能。

为了解决上述技术问题，本发明提供一种实时大数据搜索引擎系统，

采集器，采集来自于所述实时大数据搜索引擎系统外部的各种格式的文档和数据；

索引器，对所述采集器所采集到的各种格式的文档以及数据库数据进行信息抽取，并根据文档类型选择相对应的文本分析器进行文本分析，创建各文档对应的索引；

索引库，收集并储存所述索引器产生的索引；

信息资源库，集合带有索引的各文档，并与所述索引库中的对应索引建立关联；

搜索器，接收外界用户端输入的查询信息，并生成并传递搜索请求同时将搜索结果进行排序后反馈给所述外界用户端；

大数据内核，接收所述搜索器传递的所述搜索请求，在所述索引库内进行对应的索引检索并在所述信息资源库内提取对应的文件，同时反馈检索的结果和检索到的文件给到所述搜索器。

在可选的实施例中，所述实时大数据搜索引擎系统由至少一台服务器实施。

在可选的实施例中，所述索引器具体用于遵循阿帕奇Web服务器中的开放源代码全文检索引擎工具包创建所述各文档对应的索引。

在可选的实施例中，所述搜索请求具体用于遵循阿帕奇Web服务器中的开放源代码全文检索引擎工具包定义的格式，并最终以超文本传输协议的方式进行传输。

在可选的实施例中，所述索引器在创建每个所述索引时，将该索引与所对应的文档的ID值进行映射操作；

在查找索引时，所述实时大数据搜索引擎根据用户的输入信息检索所述索引库内的对应索引并映射出与该索引对应的所述文档的ID值即可返回查找结果及文档。

在可选的实施例中， 所述搜索请求包括关键词搜索、全文搜索以及关联搜索中至少一种。