[发明专利]一种增量抓取网页内容的方法

权利要求书

1.一种增量抓取网页内容的方法，其特征在于：包括如下步骤：

步骤一、建立网页内容基础资源库；

步骤二、从网页内容基础资源库中识别并筛选出处于持续变化更新状态的网页，将网页地址URL存入数据库表中，同时定义网页解析规则；

步骤三、部署若干线程多任务并发实现增量抓取网页内容元数据；

步骤四、对网页内容基础资源库进行增量更新。

2.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于：步骤一所述建立网页内容基础资源库的方法为：以全局搜索遍历的方式遍历种子URL下符合需求定义的所有网页，下载、解析并提取出网页内容元数据，然后插入预先设定的关系数据库中，建立网页内容基础资源库。

3.根据权利要求2所述的一种增量抓取网页内容的方法，其特征在于：在网页内容基础资源库中，每一个特定的网页对应一个唯一标识的ID。

4.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于：所述网页解析规则是针对网页的特定类型、依据网页的布局、结构设计特点、内容信息的重要度和用户需求等来定义的。

5.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于：步骤三所述部署若干线程多任务并发实现增量抓取网页内容元数据的方法为：根据所要抓取网页的规模部署一定数量的线程，将网页解析规则和从数据库表中取出的处于变化更新中的网页地址URL加入到线程任务队列中；在每一个线程任务队列中，下载所有URL对应的网页并创建DOM对象，然后依据网页解析规则对DOM对象进行解析，并从中提取出所需的网页内容元数据。

6.根据权利要求1所述的一种增量抓取网页内容的方法，其特征在于：步骤四所述对网页内容基础资源库进行增量更新的方法为：将步骤三抓取出的网页内容元数据与基础资源库中的网页内容信息进行对比，若基础资源库中不存在网页URL下任何信息记录，则将该网页URL下的所有内容元数据插入基础资源库中；若基础资源库中已存在网页URL下的部分信息，则将提取出的网页内容元数据的更新部分在基础资源库中进行更新操作。