[发明专利]一种面向实时搜索的缓存方法

说明书

技术领域

本发明涉及一种面向实时搜索的缓存方法,属于计算机程序技术领域。

背景技术

互联网规模的急剧膨胀，基于Web的电子信息以爆炸式的速度增长。普通用户想在纷繁复杂的海量数据中找到所需的内容如同大海捞针，而搜索引擎正是为了满足广大用户的信息检索需求而诞生。

主流的搜索引擎基本结构，如图1所示，包括数据下载子系统、数据预处理子系统、索引子系统、检索子系统、网页库、正向索引库、文档库和倒排索引库。

数据采集子系统根据相应的采集策略的，对互联网进行批量或增量的信息扫描，完成网页信息采集。

数据预处理子系统对采集到信息进行分析，提取检索项，并统计相应的位置、频率信息，估算检索项权重。

索引子系统按照一定周期，创建新的全局索引文件。检索子系统依据最新静态索引文件完成用户查询的检索服务。

为了实现海量数据的检索服务，搜索引擎大量采用分布式计算技术和缓存技术，其中，缓存技术的应用大幅提高检索效率，改善了用户的使用感受。

搜索引擎系统按照一定策略对检索过程中产生的最终运算结果或中间计算数据进行存储，降低后续查询的运算负载。

文献“Three Level Caching for Efficient Query Processing in Large Web Search Engines”文献[1][用于大型web搜索引擎高效检索的三层缓存结构设计]对搜索引擎缓存技术进行了分析，提出了基于检索结果、查询项交集结果列表、查询倒排列表的三层缓存方法，如图2所示，目前被广泛采用，并获得非常好的运行效果。

文献“New Caching Techniques for Web Search Engines”[webs搜索引擎新缓存技术]文献[2]在文献[1]的基础上提出增加一个Top-K（最相关的前K条）结果集docID（文章编号）列表缓存。但M.Marin,V.G.Costa,C.G.Pantoja文献[2]所做的这些改进只适合于静态索引技术创建的索引库，且仍然无法解决对于增量索引所创建的索引库在检索时所存在的缓存问题。

本发明是参考了M.Marin,V.G.Costa,C.G.Pantoja文献[2]并做了进一步的改进来解决采用增量索引技术创建索引库在检索时所存在的缓存问题。

随着twitter、facebook等web2.0应用的兴起，人们对于获取实时发布的信息内容越来越感兴趣，对搜索引擎查询的时效性、实时性提出了更高的要求。

基于静态索引+缓存技术的搜索引擎架构无法胜任具有强实时特性的信息数据检索，实时搜索技术成为搜索引擎技术的研发热点。

目前，已知的实时搜索引擎主要采用增量索引技术，索引库分为磁盘索引和内存索引二部分，同时提供检索服务。

内存索引用于实时加载新增的数据，当加载数据达到一定规模时，保存成磁盘索引或者与已有的磁盘索引进行归并。

内存索引的引入使得搜索引擎能够支持数据的实时加载。

背景技术缺陷:

采用增量索引技术后，搜索引擎能够支持数据的实时加载。但，增量索引过程使索引库始终处于不断变化的过程，为了已有的缓存技术性能得到下降。无法发挥的实时实现数据的都具备两个基本特征，一个是大量不间断的增量实时数据，一个是数据变化会实时体现到检索结果，采用现有的检索缓存方法会存在以下问题：

1、过短的缓存有效期，可缩减检索结果的延迟，但却会造成缓存命中率过低，对后台造成较大压力，失去了缓存的意义。

2、过长的缓存有效期，虽提高了命中率，但造成了不必要检索结果延迟，从而失去了检索结果的实时性。

发明内容

本发明提出了一种基于增量索引技术的检索结果缓存方法，用于解决增量索引技术中采用传统的缓存技术造成检索结果过长的延迟或者命中率过低造成的检索压力偏大的问题。

一种面向实时搜索的缓存技术,缓存当前检索结果和后台索引库最大docID，通过仅向后台服务器检索增量部分的数据，缓存检索结果的Top-K结果集及文档最大的docID值;

计算新增的增量数据，避免在缓存有效期内直接返回缓存结果。

一种基于增量索引技术的检索结果缓存方法，含有以下步骤；