[发明专利]一种基于URL字符串信息学习的主题爬虫系统的实现方法

说明书

技术领域

本发明属于数据挖掘和搜索引擎技术领域，特别涉及一种基于URL字符串信息学习的主题爬虫系统的实现方法。

背景技术

随着互联网的信息量飞速增长以及人们对搜索引擎的要求越来越高，传统搜索引擎的局限性，如覆盖率低、时效性差、结果不准确、返回不相关的结果太多等缺点逐渐体现。为解决这些问题，研究人员提出垂直搜索引擎，专注与某个特定领域的内容搜索。其中，主题爬虫系统是垂直搜索引擎的核心部分，其主要目标是在有限的时间与网络带宽限制下尽可能多地采集与某个指定主题相关的高质量网页，忽略与指定主题无关或一些低质量的网页。主题爬虫系统要解决的主要问题有主题是否定义的明确；主题相关的URL是否被优先抓取；怎样去判断一个未知URL的主题相关性；主题网页是否都被抓取，有没有数据丢失。

目前存在的主题爬虫采用的爬行策略主要有基于文本内容的爬行策略，基于链接的爬行策略和基于分类的爬行策略。基于文本内容的爬行策略，在主题相关网页附近爬行时表现出较好的性能，但当离主题相关网页较远时容易迷失爬行方向，很难反映Web的整体情况。基于链接的爬行策略，在通用爬虫中有很好的指导效果，更适合发现权威网页，但不适合发现主题资源，而且其计算量一般都很大，导致更新周期较长，严重影响了爬行器的爬行效率。基于分类的爬虫，比较明确的定位用户查询串的主题信息，也可以将爬虫限定在特定类别的页面可以更为准确的提取用户查询主题，相似度计算也更方便。但不能反映Web的整体结构，存在计算复杂度较高，阈值不易确定等副作用。

发明内容

本发明的目的在于针对现有方法存在的上述问题，提出在挖掘URL字符串信息的同时结合网页内容分析和链接分析来提高主题爬虫的整体性能。在计算主题相关度的时候，结合了URL字符串信息、网页内容、锚信息去计算目标URL的主题相关度，同时还采用机器的自主学习对URL字符串所携带的信息进行学习，从而使URL主题相关度的计算更精确。另外，提出了基于文本内容分析和链接分析相结合的爬行策略，在防止爬虫只在局部最优的同时，还避免了较高的计算复杂度。

本发明解决其技术问题的技术方案是：

本发明是基于URL字符串信息、网页内容、锚信息去判断目标URL与主题相关度，采用机器学习对URL字符串携带的信息不断学习，动态的更新主题相关向量，利用内容分析和链接分析相结合的爬虫策略。其具体步骤为：

步骤1--选择种子URL：

依据给定的主题，结合机器学习和人工选择，选定与主题相关的K个网页的URL作为种子URL，网页下载器从选定的种子URL开始下载网页。

步骤2--分析下载页面：

网页分析器对下载的网页内容和链接进行分析，提取网页的URL字符串信息、网页内容、锚信息。

步骤3--主题相关度计算：

根据URL字符串信息、网页内容、锚信息进行主题相关度计算。

步骤4--过滤不相关网页：

根据主题相关度，把低于主题相关度某个阀值的URL过滤掉。

步骤5--URL字符串信息学习：

URL字符串信息学习的基本过程是，先从给定网页的URL中得到一个训练数据集。URL字符串信息学习部分利用选取的学习算法对已经下载的网页URL字符串信息进行学习，得到一个主题知识库，主题知识库去指导URL主题相关度的计算，URL主题相关度的值再反馈给URL字符串信息学习部分从而去指导URL字符串信息的学习，经过URL字符串信息学习后，再去更新主题知识库，以便进一步学习，改进系统的性能。

步骤6—确定待下载的URL队列：

采用内容分析与链接分析相结合的爬虫策略，得出一个待下载的具有优先级的URL队列。

本发明具有的有益效果是：

1、本发明通过URL字符串信息、网页内容、锚信息去计算目标URL的主题相关度，提高了URL相关度计算的准确性。

2、本发明通过对URL字符串信息不断学习动态的改变主题相关向量，提高了主题相关向量判断的准确性。

3、本发明采用的内容分析和链接分析相结合的爬虫策略在减少计算复杂度的同时，能爬取更多的与主题相关的网页。

4、本发明可用于垂直搜索引擎的爬虫系统中，也可以用于网页的自动分类中。

附图说明

图1是本发明主题爬虫系统的总体框架图。

图2是本发明URL字符串信息学习的原理图。

具体实施方式

下面结合附图和具体实施应用过程对本发明进一步说明：