[发明专利]知识库检索实现方法

说明书

本发明公开一种知识库检索实现方法，涉及数据库检索技术领域，改进基于词表的分词技术，对知识类别建立分块索引，在内存中构建索引，使用本地磁盘系统做存储索引，并使用多文件索引，不使用复合索引等方式优化了原先的Lucene检索效率，大大地提高了检索的速度；所述知识库检索实现方法包括索引过程和搜索过程。本发明对基于词表的分词技术做改进，提高了分词效率及准确度；对知识类别建立分块索引，提高了检索效率；解决了知识库信息分类检索问题，提高优化知识库信息检索精确度和检索效率，提高了用户的体验。

技术领域

本发明涉及数据库检索技术领域，具体的说是一种知识库检索实现方法。

背景技术

随着互联网的发展，互联网上站点与信息等越来越庞杂；在这海量的信息里面快速、全面、准确的查找到所需要的信息已经成为人们关注的焦点。传统的数据库查询方式在检索的准确率和效率以及检索条件的灵活性上都难以满足要求，如何高效地存储和查询文本数据这是一个值得探讨的课题。

当今，大批企业正在由传统的经营模式向科技创新、自主研发的新模式转变，获得飞速的发展。在当今时代，以全文检索为核心技术的搜索引擎已取代传统的数据库查询方式成为网络时代的主流检索技术，因此开发研究一款高效、安全、扩展性好的知识库检索技术是信息化时代发展的必然选择。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种知识库检索实现方法。

本发明所述知识库检索实现方法，解决上述技术问题采用的技术方案如下：所述知识库检索实现方法，改进基于词表的分词技术，对知识类别建立分块索引，在内存中构建索引，使用本地磁盘系统做存储索引，并使用多文件索引，不使用复合索引等方式优化了原先的Lucene检索效率，大大地提高了检索的速度；所述知识库检索实现方法包括索引过程和搜索过程；

所述索引过程：对要搜索的原始内容进行索引构建一个索引库；索引过程包括：确定原始内容即要搜索的内容—》采集文档--》创建数据集--》预处理分析数据--》生产索引--》构建索引库；

所述搜索过程：从索引库中搜索内容；搜索过程包括：用户通过搜索界面—》输入查询--》查询处理--》执行搜索，从索引库检索--》运用相关性计算--》渲染搜索结果--》结果输出。

具体的，所述索引过程：从命令行读取文件名，将文件分路径path字段和内容body字段2个字段进行存储，并对内容进行全文索引；索引的单位是Document对象，每个Document对象包含多个字段Field对象；针对不同的字段属性和数据输出的需求，对字段选择不同的索引或者存储字段规则。

具体的，所述检索过程包含写入流程、读出流程；所述写入流程：将提供的源字符串写入索引或将其从索引中删除；写入流程具体为：源字符串首先经过analyzer处理，包括：分词过程；将源字符串中需要的信息加入Document的各个Field中，将需要索引的Field索引起来，将需要存储的Field存储起来。

具体的，所述将需要存储的Field存储起来，是将索引写入存储器，存储器为内存或磁盘。

具体的，所述分词过程由分词器完成，所述分词器包括Reader、Tokenizer、TokenFilter、TokenStream；

所述分词过程具体包括：所述Tokenizer负责接收Reader字节流，将Reader字节流进行分词操作，所述TokenFilter对已经分词的语汇单元进行各种各样的过滤操作；所述TokenStream存储分词的各种信息，通过tokenStream有效获取到分词单元信息。

具体的，所述读出流程：向用户提供全文搜索服务，通过关键词定位源；读出流程具体为：用户提供搜索关键词，经过analyzer处理；对处理后的关键词搜索索引找出对应的Document；用户根据需要从找到的Document中提取需要的Field。