[发明专利]一种基于URL字符串信息学习的主题爬虫系统的实现方法

权利要求书

1. 一种基于URL字符串信息学习的主题爬虫系统的实现方法，其特征在于：基于URL字符串信息、网页内容、锚信息去判断目标URL与主题相关度，采用机器学习对URL字符串携带的信息不断学习，动态的更新主题相关向量，利用内容分析和链接分析相结合的爬虫策略；其具体步骤为：

步骤1.选择种子URL：依据给定的主题，结合机器学习和人工选择，选定与主题相关的K个网页的URL作为种子URL，网页下载器从选定的种子URL开始下载网页；

步骤2.分析下载页面：网页分析器对下载的网页内容和链接进行分析，提取网页的URL字符串信息、网页内容、锚信息；

步骤3.主题相关度计算：根据URL字符串信息、网页内容、锚信息进行主题相关度计算；

步骤4.过滤不相关网页：根据主题相关度，把低于主题相关度某个阀值的URL过滤掉；

步骤5.URL字符串信息学习：URL字符串信息学习的基本过程是，先从给定网页的URL中得到一个训练数据集；URL字符串信息学习部分利用选取的学习算法对已经下载的网页URL字符串信息进行学习，得到一个主题知识库，主题知识库去指导URL主题相关度的计算，URL主题相关度的值再反馈给URL字符串信息学习部分从而去指导URL字符串信息的学习，经过URL字符串信息学习后，再去更新主题知识库，以便进一步学习，改进系统的性能；

步骤6.确定待下载的URL队列：采用内容分析与链接分析相结合的爬虫策略，得出一个待下载的具有优先级的URL队列。

2.根据权利要求1所述的一种基于URL字符串信息学习的主题爬虫系统的实现方法，其特征在于：提取分析网页的URL字符串信息、网页内容、锚信息，URL相关度计算综合了URL字符串信息、网页内容、锚信息，使URL主题相关的计算更精确。

3.根据权利要求1所述的一种基于URL字符串信息学习的主题爬虫系统的实现方法，其特征在于：在步骤2分析下载页面过程中，对URL所携带的信息不断学习，动态的更新主题相关向量，用于更好地指导主题相关度的计算。

4.根据权利要求1所述的一种基于URL字符串信息学习的主题爬虫系统的实现方法，其特征在于：在步骤6确定待下载的具有优先级的URL队列过程中，利用内容分析和链接分析相结合的爬虫策略，内容分析得出URL的主题相关度，再通过链接分析调整URL的下载优先级，最后得出一个待下载的具有优先级的URL队列。