[发明专利]基于查询扩展的有限数据源数据获取方法

摘要

本发明公开了一种基于查询扩展的有限数据源数据获取方法，本发明通过查询扩展技术执行多次查询以获取尽可能多的记录，可以有效地避开返回记录数的限制；以最少的查询次数穷尽此类数据源中的相关文档，本发明通过多次查询直至穷尽有限数据源中所有相关文档；本发明将该方法应用与实际的信息检索中，能以较少的查询扩展次数从有限数据源中获取所有相关的数据。

主权项

一种基于查询扩展的有限数据源数据获取方法，其特征在于，包含以下步骤：步骤1，用初始查询表达式Q在总文档数为N的有限数据源中检索，获取前n篇文档S，构成初始查询的结果集R，对前n篇文档S进行正文提取、分词和词性标注，对所有词进行词性过滤，从所有词中选取概念词集C，按公式(1)计算概念词集C中每个概念词ci与查询词wi之间的共现度，根据概念词ci与查询词wi之间的共现度f(c,Q)，对所有概念词进行逆向排序，选取前k个概念词作为扩展词集；其中，共现度计算公式中idf(wi)为查询词wi的逆文档频率，λ为常量，默认值为1；co_degree(c，wi)为每个查询词wi与概念C之间的共现数，概念C与初始查询表达式Q之间的共现度为概念C与初始查询表达式Q所有的查询词wi的共现数的乘积和；Sum(d)为有限数据源中的文档总数，dwi为有限数据源中包含词wi的文档总数，idf(wi)为词语普遍重要性的度量；步骤2，根据扩展词集构造查询表达式，查询表达式为S+ti，然后进行k次查询得到k个查询结果集；ti(i＝1,2,…,n)为第一层查询扩展时，第i次查询的查询扩展词；步骤3，判断k次查询累积返回的不重复文档总数是否超过总文档数N，如果未达到，则按照步骤1从每个初始查询的结果集R中选取m个扩展词，进行第二层查询扩展，此时总共查询k×m次，此时的查询表达式为S+tii；其间，如果累积返回的文档总数超过总数N，则停止；tii(i＝1,2,…,k；i＝1,2,…,m)为第二层查询扩展时，第ii次查询的查询扩展词；步骤4，按照步骤2和步骤3迭代进行查询扩展，直到累计返回的文档总数等于总数N；此累计返回的文档总数N指不重复的文档数。