[发明专利]一种基于领域内网的搜索引擎系统及构建方法

说明书

本发明提供了一种基于领域内网的搜索引擎系统及构建方法，用以解决现有技术无法满足搜索引擎的专业化、个性化需求的问题。所述构建方法，通过爬虫策略抓取原始网络信息数据并存储到构建的大数据存储平台中，再从网络信息数据中抽取资源信息，而后基于临时表的同步机制，将资源信息索引到检索集群中；再基于中文分词组件和领域词表的搜索策略，提高信息检索的速度与精度。本发明的搜索引擎系统及构建方法，基于通用搜索引擎系统的一般框架模式，为面向特定领域的轻量级内网搜索引擎系统的构建开辟了一条新的思路，能够自动获取给定内网网络中的各种信息资源并建立索引，提供搜索服务，具有专业性和较高的搜索效率，同时可灵活应用于各种领域。

技术领域

本发明属于信息检索领域，具体涉及一种轻量级的基于领域内网的搜索引擎系统及构建方法。

背景技术

信息，是影响现代社会发展的三大支柱之一。为了高效利用浩繁的信息，需要有效的对有用的信息进行定位和检索，排除掉其他无用信息的干扰。搜索引擎(Search Engine)是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，根据用户的需求，将用户检索相关的信息展示给用户的系统。

搜索引擎是一种时代产物，它的出现是为了提高人们的生活质量的。研究搜索引擎的最终目的，就是以需要使用搜索引擎服务的用户为中心，以满足用户搜索需求为目标，以提高搜索质量和用户体验为宗旨，辅以分布式计算、中文分词等技术，优化改进搜索引擎系统，提高信息定位和检索的速度和质量，提供优质的信息检索服务。

现有技术中，大多数搜索引擎都是基于公共网络领域的，当用户需要检索某个专门领域的信息时，则显得力不从心。虽然也有一些搜索引擎具有一定的专业性，可提供一定的个性化服务，但是其检索范围有限，且计算繁锁，效率低下，无法满足用户的需求。

发明内容

本发明要解决的技术问题是针对现有技术无法满足搜索引擎的专业化、个性化需求的问题，提供一种基于领域内网的搜索引擎系统及构建方法，从给定范围内网网络出发，依次设计高效的爬虫策略、资源抽取策略以及信息检索策略，从而构建形成领域内网的搜索引擎系统，不仅具有专业性，而且可灵活应用于各种领域。

为解决上述技术问题，本发明实施例提供了一种基于领域内网的搜索引擎系统的构建方法，所述方法包括如下步骤：

步骤S1，构建大数据存储平台和检索集群；

步骤S2，构建网络爬虫子系统，自动抓取所述领域内网的网络信息数据，并存储于所述大数据存储平台；

步骤S3，构建信息资源抽取子系统，从存储于大数据存储平台的网络信息数据中自动抽取资源信息数据；

步骤S4，构建基于临时表机制的同步子系统，对步骤S3所自动抽取到的资源信息数据进行自动索引；

步骤S5，构建基于中文分词组件和领域词表的检索子系统，结合所述检索集群，处理检索关键词并返回检索结果；

步骤S6，构建用户接口子系统，接收用户的检索请求并展示返回的检索结果。

上述方案中，所述构建的大数据存储平台和检索集群，进一步包括：

步骤S11，基于Hadoop平台以及Hbase数据库，构建分布式大数据平台；

步骤S12，基于ElasticSearch搜索服务框架，构建分布式检索集群。

上述方案中，所述构建网络爬虫子系统，进一步包括：

步骤S21，手工整理所述领域内网范围内的网络地址作为网络爬虫启动时的初始种子集；

步骤S22，以所述初始种子集为基础，利用开源网络爬虫(Nutch)完成抓取基本数据；