[发明专利]基于社会标注的主题爬虫系统

权利要求书

1.一种基于社会标注的主题爬虫系统，该系统包括页面获取模块(100)， 页面处理模块(200)，相关度计算模块(300)，存储模块(400)，链接提取模块 (500)和链接处理模块(600)；

存储模块(400)用于存储爬行过程中所获取的页面数据；

页面获取模块(100)根据被获取网站的机器人禁入协议文件、网络带宽 的限制以及网页优先级的高低，利用网页地址列表及其缓存进行页面爬取， 并将爬取后的页面传送给页面处理模块(200)；

页面处理模块(200)采用多线程并行处理，每个线程接受从页面获取模 块(100)传过来的网页，通过对比存储模块(400)内的数据，判断该页面是否 已经被获取过，并将不重复的页面传送给相关度计算模块(300)；

相关度计算模块(300)接收页面处理模块传送过来的不重复页面，从存 储模块(400)获取该页面的社会标注、上级页面的社会标注，以及链入该页 面的其他页面与预定主题的相关度，综合所有这些因素计算该页面与预定 主题的相关度，并将计算得到的相关度及页面的相关信息存储到存储模块 (400)中，然后将满足相关度要求的页面传送给链接提取模块(500)；

链接提取模块(500)对满足相关度要求的页面进行修复，然后进行页面 解析，将包含在页面中的链接提取出来，再对链接进行规范化处理，使其 符合统一的格式，再传送给链接处理模块(600)；

链接处理模块(600)用于进行链接过滤，使链接地址符合预先设定的规 则，该模块还负责从接收到的链接中去掉已经获取过的链接，将待取链接 地址进行DNS的预取工作，并为链接和DNS缓存提供缓冲区。

2.根据权利要求1所述的基于社会标注的主题爬虫系统，其特征在于： 页面获取模块(100)包括爬虫配置模块(110)，待取链接队列(120)，域名解析 模块(130)，礼貌策略模块(140)，机器人禁入协议文件排除模块(150)，套接 字连接获取模块(160)，页面处理分配模块(170)和待取链接队列一级缓存 (180)；

爬虫配置模块(110)用于对爬虫运行时的各项参数进行配置，爬虫配置 文件包括最短间隔，爬行的深度、广度和范围，并将种子网页地址列表提 供给待取链接队列(120)；

待取链接队列(120)用于存放待获取的页面的网页地址，同时网页地址 按照相关度在待取队列中进行排序，实时从待取链接队列一级缓存(180)中 提取页面的网页地址进行填充，并将网页地址交由域名解析模块(130)；

域名解析模块(130)对接收的网页地址进行域名解析，获取对应的IP地 址，再转交给礼貌策略模块(140)；

礼貌策略模块(140)对目标网站的访问速度进行控制，对同一个主机的 访问间隔大于等于配置的最短间隔的请求，转交给机器人禁入协议文件排 除模块(150)，否则推迟访问；

机器人禁入协议文件排除模块(150)遵循网站的要求，按照机器人禁入 协议文件中的描述进行爬行，将允许被爬行的链接地址转交给套接字连接 获取模块(160)；

套接字连接获取模块(160)基于异步IO的获取机制，发送获取请求，当 有页面返回时转交给页面处理分配模块(170)；

页面处理分配模块(170)采用固定线程池的方式对接收的页面进行分配 处理，接收到页面后，从固定线程池中请求一个线程进行处理，如果固定 线程池中没有空闲线程，则在固定线程池的任务队列中排队等待处理；在 线程中将页面交给页面处理模块(200)处理。