[发明专利]一种面向任意段数据的Top-k查询方法

说明书

技术领域

本发明涉及一种面向任意段数据的Top-k查询方法，属于信息检索技术领域。

背景技术

随着信息技术的不断发展，人们对信息检索的要求不断提高，而Top-k查询在信息检索、多媒体相似性搜索、文本和数据集成、商业分析、产品目录和基于互联网的建议来源的偏好查询、分布式网络聚集和传感器数据记录和其他一些应用领域中得到了广泛的应用。

目前，针对偏好Top-k查询的算法主要有四大类：1)sort-list方法；2)层次式方法；3)视图方法；4)概要方法。

Sort-list方法中最经典的为TA算法（H.Bast,D.Majumdar,R.Schenkel,M.Theobald,andG.Weikum.IO-Top-k:Index-accessoptimizedtop-kquerypr ocessing.InVLDB,pages475–486,2006.FaginR,LotemA,NaorM.Optimal aggregation algorithms for middleware.Journal of Computerand System Sciences 66,2003,pp.614-656.）。算法为每个计算维独立地排序后建成多个排序列表。找出所有大于给定阈值所有元组，而不是直接查找所有元组。计算过程中顺序地扫描每个列表，在顺序访问时，如遇到元组指示器，立即随机访问其他列表来计算Top-k分值。已访问的元组通过排序得到Top-k结果，该方法最主要的难点是决定阈值大小，如果阈值过松将导致返回结果过多，如果阈值过紧将导致返回结果过少。

在层次式方法中，将数据集中元组按给定层次规则分层。任意函数F的Top-k查询都可以从前k层中得到查询结果。现有多种分层方法：DG（Zou L,Chen L.Dominant graph:An efficient indexing struture to answer top-k queries[C]//Proc of the IEEE 24th Int Conf on Data Engineering.Washington,DC:IEEE Computer Society,2008:536-545.）、AppRI（Xin D,Chen C,Han J.Towards robust indexing for rankedqueries[C]//Proc of the 32nd Int Conf on Very Large Data Bases.Trondheim,Norwary:VLDB Endowment,2006:235-246.）和Onion（C hang Y C,Bergman L D,Castelli V,et al.The onion technique:Indexing for linear optimization queries[J].ACM SIGMOD Record,2000,29(4):391-402.）。Onion方法以凸包为分层规则。给定一个线性查询函数,感兴趣的元组只存在于凸包中。Onion方法构建过程是计算元组的凸包，首先计算第1个凸包，然后计算剩余元组的第2个凸包，以此类推，直到所有元组计算完毕。AppRI方法中定义的层次规则为：元组t放入l层，当且仅当满足两个条件：1)给定的任何线性查询使t不在Top-(l-1)结果中；2)至少有一个查询使t属于top-l层。DG方法定义的层次规则为：每个层为前一个skyline。将skyline引入，首先计算第1个skyline，然后计算剩余元组的第2个skyline，直到所有元组计算完毕。与上面两种方法不同，由于DG中加入数据点间的支配关系，使得不需访问并计算所有k层以前元组的查询函数值。