[发明专利]一种基于用户本体的初始URLs选择方法

说明书

技术领域

本发明涉及一种基于用户本体的初始URLs选择方法，属于搜索引擎技术领域。

背景技术

随着Web应用的迅猛发展，传统的通用搜索引擎存在着网页更新速度过慢、有效性差等缺点。“面向主题的智能搜索引擎”在这种背景下应运而生。这类搜索引擎区别于通用搜索引擎的主要特点是，具有一个实时的、智能的、能够识别主题信息的爬行虫来选择爬行区域。目前，大多数主题搜索的研究主要集中在确定主题区域以及在主题区域内的爬行策略上。但是关于如何根据用户查询词自动选择初始URLs的研究相对较少。

网页间的超链接反映了网页创建者的一种判断同时也引导网页浏览的过程，即有理由认为，如果网页A存在一条超链接指向网页B，那么网页A的作者是认为网页B包含了有价值的信息。因此，充分利用互联网的链接结构信息对互联网应用技术的研究将具有极为重要的意义。事实上，越来越多的学者已经开始致力于互联网链接结构的研究。总体来说主要包括以下几个方面：1.链接结构分析在Web信息搜索中的应用；2.链接结构特征与互联网中出现的潜在主题区域之间的关联；3.链接结构在理解互联网自身属性特点和成长模式方面所处的地位和作用。

另一方面，受到自然语言的限制，使得大多数基于关键字匹配的检索结果有效性非常低。将本体应用于智能搜索引擎，可以把信息采集从基于关键词的相关度匹配技术层面提高到基于语义层面的查找。因此，把面向用户的个性化智能搜索引擎和本体这两种技术结合起来，为开发新一代网络信息检索系统提供了广阔的天地。

总的来说，目前国内外很多研究都表明初始URLs对于一个主题爬行虫的重要性。但是真正关于如何在不同主题或者主题区域间选择初始URLs的方法凤毛麟角。因此，关于主题爬行虫初始URLs的选择方法有很大的研究空间。

发明内容

本发明所要解决的技术问题是针对现有技术的不足提供一种基于用户本体的初始URLs选择方法。

一种基于用户本体的初始URLs选择方法，包括以下步骤：

第一步：提交用户关键词给搜索引擎，获得用户日志。该用户日志主要用来构建用户本体和用户兴趣特征向量。

第二步：处理用户特征文件，提取特征词汇，并向量化；

第三步：构建用户本体，利用提取的特征词并结合WordNet来构建用户本体；

第四步：用户提交关键词到Google，并得到搜索结果，通过HITS算法，可以得到根集，包含了权威网页和中心网页集合，从而，得到候选页面；

第五步：用户关键词提交给用户本体，进行加权扩展，得到扩展的特征向量，结合候选页面，得到语义化的页面向量；

第六步：计算第二步得到的用户兴趣特征向量和语义化的页面向量的相似度，排序，选择相似度高的加入根集得到基础集；

第七步：对得到的基础集，通过改进的HITS算法，获取二分图；

第八步：针对二分图，采用完全二分有向图获取算法得到完全二分图；

第九步：通过选取完全二分图中的URLs作为初始URLs，具体实现步骤：

D1、通过第八步从二分图中提取完全二分图，得到权威网页集和中心网页集两个集合；

D2、从中心网页集合中选择一个网页作为爬行虫的一个初始URL；

D3、使用中心网页和权威网页存在链接，发现完全二分图的其他部分，作为初始URLs加入到结果集中；

D4、把发现的中心网页和权威网页分别从两个集合中删除，更新集合中权威网页和中心网页的权威值和中心值；

D5、如果初始URLs结果集的数量不够，再次返回步骤1；否则，结束。

所述的基于用户本体的初始URLs选择方法，所述第七步，改进的HITS算法，获取二分图的方法为：

B1、搜集特定关键词的网页集合，存储网页链接关系；

B2、对于每一个网页分为链入和链出页面集合，通过语义化页面构建方法重新构建页面；

B3、计算语义化页面和返回结果的相似度，满足条件的作为候选集合，并得到基础集；

B4、通过迭代算法计算基础集每个网页的权威值和中心值，由此得到二分图。

所述的基于用户本体的初始URLs选择方法，所述第八步，所述完全二分有向图获取算法；

C1、按照权威值大小依次选取网页，并通过对应页面得到链接中心值网页；选取的网页标记，以防止再次选取；

C2、按照中心值大小依次选取网页；并通过对应页面得到权威值网页；选取的网页标记，以防止再次选取；

C3、重复C1-C2操作，直到遍历完所有网页为止，得到完全二分图。