[发明专利]爬虫系统中的响应调度方法

权利要求书

1.一种爬虫系统中的响应调度方法，其特征在于，包括：

根据网站的层级板块结构划分出多个入口种子任务；

根据每个入口种子任务所在层级板块和单位时间的新闻量预设初始采集频率；

预设多个新闻属性，并制定所述新闻属性对应的调整规则；

根据所述调整规则实时更新每个入口种子任务的计算采样频率。

2.根据权利要求1所述的方法，其特征在于，所述根据网站的层级板块结构划分出多个入口种子任务，包括：所述层级板块结构与入口种子任务一一对应。

3.根据权利要求1所述的方法，其特征在于，所述根据每个入口种子任务所在层级板块和单位时间的新闻量预设初始采集频率，包括：

预设一个小时内一个层级版块下新闻量W；

预设每页包含新闻条数n；

初始采集频率p1，p1＝1/(W/n)，p1为每小时采集网站频率。

4.根据权利要求1所述的方法，其特征在于，所述多个新闻属性包括：

新闻产出量、新闻阅读量、新闻所在板块级别、新闻采集的时间段、网站的响应速度、是否为热点新闻和是否为首发中的一种或多种。

5.根据权利要求1所述的方法，其特征在于，所述制定所述新闻属性对应的调整规则，包括：

预设每个新闻属性的参数；

根据每周期采集参数变化值确定调整规则。

6.根据权利要求5所述的方法，其特征在于，所述调整规则，包括：

预设每个新闻属性与采集频率的关系参数值，

通过聚合函数计算得出调整规则。

7.根据权利要求6所述的方法，其特征在于，所述聚合函数包括：

行数count、平均avg、总和sum、最大值max中一种或多种。

8.根据权利要求1所述的方法，其特征在于，所述对根据调整规则实时更新每个入口种子任务的计算采样频率，包括：

根据第一个新闻属性的调整规则与初始采集频率计算出第一个新闻属性后的中间采样频率；

以所述中间采样频率为基础，依次计算经过其他新闻属性的调整规则累加后得到的计算采样频率。