[发明专利]一种网页爬虫抓取方法及装置

权利要求书

1.一种网页爬虫抓取方法，其特征在于，包括：

根据给定的搜索条件及生成种子数，生成至少一个满足搜索条件的网页地址，所述网页地址的生成数量与所述生成种子数相同;

对所述网页地址进行数据抓取，得到抓取网页内容；

根据抓取网页内容，确定满足预设统计条件的网页地址数量的统计结果；

根据所述统计结果修改所述生成种子数。

2.根据权利要求1所述的网页爬虫抓取方法，其特征在于，所述预设统计条件为：所述网页地址的抓取网页内容有效。

3.根据权利要求2所述的网页爬虫抓取方法，其特征在于，所述确定满足预设统计条件的网页地址数量的统计结果，包括：

获取在预设的统计周期内对所述网页地址进行数据抓取的抓取次数，及每次数据抓取的有效状态的网页地址数量；

计算在统计周期内的有效状态的网页地址的平均数量作为统计结果。

4.根据权利要求1所述的网页爬虫抓取方法，其特征在于，所述预设统计条件为：所述网页地址的抓取网页内容在规定时间段内。

5.根据权利要求4所述的网页爬虫抓取方法，其特征在于，所述确定满足预设统计条件的网页地址数量的统计结果，包括：

获取在预设的统计周期内对所述网页地址进行数据抓取的抓取次数，及每次数据抓取的在规定时间段内的网页地址数量；

计算在统计周期内的在规定时间段内的网页地址的平均数量作为统计结果。

6.根据权利要求1所述的网页爬虫抓取方法，其特征在于，所述预设统计条件为：所述网页地址的抓取网页内容有效，或所述网页地址的抓取网页内容在规定时间段内；

所述确定满足预设统计条件的网页地址数量的统计结果，包括：

获取在预设的统计周期内对所述网页地址进行数据抓取的抓取次数，及每次数据抓取的有效状态的网页地址数量，及每次数据抓取的在规定时间段内的网页地址数量；

计算在统计周期内的有效状态的网页地址的平均数量作为第一参数，计算在统计周期内的在规定时间段内的网页地址的平均数量作为第二参数；

根据所述第一参数和第二参数生成统计结果。

7.根据权利要求6所述的网页爬虫抓取方法，其特征在于，所述根据所述第一参数和第二参数生成统计结果，包括：

计算所述第一参数和第二参数的加权平均值作为所述统计结果。

8.一种网页爬虫抓取装置，其特征在于，包括：

网页地址生成模块，用于根据给定的搜索条件及生成种子数，生成至少一个满足搜索条件的网页地址，所述网页地址的生成数量与所述生成种子数相同;

网页内容抓取模块，用于对所述网页地址进行数据抓取，得到抓取网页内容；

统计结果获取模块，用于根据抓取网页内容，确定满足预设统计条件的网页地址数量的统计结果；

生成种子数修改模块，用于根据所述统计结果修改所述生成种子数。

9.根据权利要求8所述的网页爬虫抓取装置，其特征在于，所述预设统计条件为：所述网页地址的抓取网页内容有效。

10.根据权利要求9所述的网页爬虫抓取装置，其特征在于，所述统计结果获取模块，具体用于：

获取在预设的统计周期内对所述网页地址进行数据抓取的抓取次数，及每次数据抓取的有效状态的网页地址数量；

计算在统计周期内的有效状态的网页地址的平均数量作为统计结果。

11.根据权利要求8所述的网页爬虫抓取装置，其特征在于，所述预设统计条件为：所述网页地址的抓取网页内容在规定时间段内。

12.根据权利要求11所述的网页爬虫抓取装置，其特征在于，所述统计结果获取模块，具体用于：

获取在预设的统计周期内对所述网页地址进行数据抓取的抓取次数，及每次数据抓取的在规定时间段内的网页地址数量；

计算在统计周期内的在规定时间段内的网页地址的平均数量作为统计结果。