[发明专利]基于社会标注的主题爬虫系统

摘要

一种基于社会标注的主题爬虫系统，包括页面获取模块，页面处理模块，相关度计算模块，存储模块，链接提取模块和链接分析模块。系统充分利用了网页的社会标注，是对页面内容公认的描述，更加贴近网页描述的真实内容，利用此性质来进行网页相关性的判断，将其应用在网络主题爬虫中，指导爬虫的爬行方向，对主题搜索引擎提供优质的网页数据内容。本发明很好地利用了网络带宽资源，在网页获取的过程中减少了不必要的开销，针对不同的需求采用不同的存储方式，减少了IO的消耗，采用了多级缓存机制，减少了阻塞，提高了爬虫的效率。该系统在社会标注的支撑下，优化了爬虫架构，为后续主题搜索引擎其他处理流程提供最佳的网页数据集。

主权项

1、一种基于社会标注的主题爬虫系统，该系统包括页面获取模块(100)，页面处理模块(200)，相关度计算模块(300)，存储模块(400)，链接提取模块(500)和链接分析模块(600)；存储模块(400)用于存储爬行过程中所获取的页面数据；页面获取模块(100)根据被获取网站的机器人禁入协议文件、网络带宽的限制以及网页优先级的高低，利用网页地址列表及其缓存进行页面爬取，并将爬取后的页面传送给页面处理模块(200)；页面处理模块(200)采用多线程并行处理，每个线程接受从页面获取模块(100)传过来的网页，通过对比存储模块(400)内的数据，判断该页面是否已经被获取过，并将不重复的页面传送给相关度计算模块(300)；相关度计算模块(300)接收页面处理模块传送过来的不重复页面，从存储模块(400)获取该页面的社会标注、上级页面的社会标注，以及链入该页面的其他页面与预定主题的相关度，综合所有这些因素计算该页面与预定主题的相关度，并将计算得到的相关度及页面的相关信息存储到存储模块(400)中，然后将满足相关度要求的页面传送给链接提取模块(500)；链接提取模块(500)对满足相关度要求的页面进行修复，然后进行页面解析，将包含在页面中的链接提取出来，再对链接进行规范化处理，使其符合统一的格式，再传送给链接处理模块(600)；链接处理模块(600)用于进行链接过滤，使链接地址符合预先设定的规则，该模块还负责从接收到的链接中去掉已经获取过的链接，将待取链接地址进行DNS的预取工作，并为链接和DNS缓存提供缓冲区。